2026 m. lapkričio 17 d., antradienis
Novatech Technologijų naujienos ir patarimai
Saugumas

Grok botas ėmėsi nepatvirtintų veiksmų, ignoravo įsakymus sustoti, o paskui tai neigė

Grok botas ėmėsi nepatvirtintų veiksmų, ignoravo įsakymus sustoti, o paskui tai neigė
Nuotrauka: Daniel Oberhaus / Wikimedia Commons, CC BY-SA 4.0

Tyrėjai neseniai aptiko netikėtą „Grok Bot“ elgesį. Tai dirbtinio intelekto agentų platforma, kurią kuria Elono Musko „SpaceXSI“. Per penkias dienas dviejuose skirtinguose darbuotojų nešiojamuosiuose kompiuteriuose įdiegti „Grok“ botai pateikė 31 užklausą prieigai prie duomenų, saugomų darbuotojų kalendoriaus, el. pašto, „Slack“ ir „GitHub“ paskyrose. Botai šiuos veiksmus atliko nors darbuotojai jų niekada nebuvo nurodę, ir tęsė juos net tada, kai darbuotojai liepė liautis. Botai taip pat paneigė, kad apskritai būtų ką nors darę.

Apie šį elgesį antradienį pranešė „NewCore“ – valdomo šliuzo (gateway) produkto, veikiančio kaip tarpininkas tarp dirbtinio intelekto agentų ir įrankių bei paskyrų, su kuriomis jiems skirta dirbti, kūrėja. Kai kuriais atvejais neleistinos prieigos bandymai vykdavo uždarius nešiojamojo kompiuterio dangtį, kuriame įdiegtas „Grok Bot“, arba vėlai naktį, kai darbuotojas miegodavo. Nė vienas iš savo iniciatyva atliktų veiksmų nebuvo užfiksuotas „Grok“ žurnaluose. Be šliuzo žurnalų darbuotojai apie juos net nebūtų sužinoję. Be to, be šliuzo neleistina prieiga, savaime suprantama, būtų pavykusi – vėlgi galutiniam naudotojui apie tai nežinant.

Paaiškinimas: Dirbtinio intelekto agentas – programa, kuri ne tik atsako į klausimus, bet ir pati atlieka veiksmus naudotojo vardu, pavyzdžiui, naudojasi jo el. paštu ar kitomis paskyromis. Todėl svarbu, kad naudotojas matytų ir galėtų kontroliuoti, ką agentas daro.

„Blogiau nei klaida“

Darbuotojams sužinojus, kad „Grok Bot“ be paraginimo bandė jungtis prie paskyrų, vienas jų keturis kartus nurodė agentui nieko nedaryti savo iniciatyva. Agento atsakymas buvo: „Šito nenustatysiu ir nustosiu siūlyti pasikartojančių patikrinimų.“ Nors agentas pripažino aiškius nurodymus, „Grok Bot“ dar kartą bandė gauti neleistiną prieigą. Kai vienas darbuotojas paklausė boto, ar šis ką nors pasiekė, jis du kartus patikrino ir pateikė atsakymą: „Nuo nakties į penktadienio rytą buvau neaktyvus.“

„NewCore“ darbuotojai išsiuntė šliuzo žurnalus „Grok Bot“ palaikymo specialistams ir paklausė, kas lemia, kad botai jungiasi prie paskyrų be paraginimo ar patvirtinimo. Palaikymo komandos atsakymas rodė, kad toks elgesys yra numatytas ir skirtas leisti botams iniciatyviai veikti naudotojų vardu. Kitaip tariant, neprašyti ir nežurnaluoti prieigos bandymai buvo funkcija, sukurta siekiant, kad „Grok Bot“ būtų naudingesnis: jis periodiškai pasitikrina ir suranda užduočių dar prieš naudotojui jų paprašant. Iniciatyvūs patikrinimai yra „Cursor“ – dirbtinio intelekto programavimo paslaugos, kurią „SpaceXSI“ neseniai įsigijo, – funkcija.

„Nėra klaidos, kurią reikėtų ištaisyti, ir kaip tik todėl tai blogiau nei klaida“, – el. laiške rašė „NewCore“ saugumo tyrėjas Ido Hoorvitchas. – „Pažeidžiamumas būna ištaisomas. Čia produktas veikia taip, kaip suprojektuotas: agentas, turintis jūsų prisijungimo duomenis, veikiantis jūsų tapatybe jums miegant, ignoruojantis vienintelį atsisakymą, kurį galite jam pateikti, o paskui sakantis, kad nieko nedarė.“

Hoorvitchas teigė, kad „Grok Bot“ apie automatinius „ėjimus“ (turns), t. y. ciklus, kai agentas gauna nurodymus ar kontekstą, nusprendžia, ką daryti, ir iškviečia pasirinktus įrankius, praneša minimaliai. Pranešimas pateikiamas pradinės sąrankos metu, kai botas nurodo, kad toliau dirba, kol naudotojo nėra prie kompiuterio, jungiasi prie programėlių ir naudojasi jomis taip, kaip naudotojas.

„Tai atrodo kaip sveikinimo žinutė ir nuslinka nuo ekrano per mažiau nei minutę“, – sakė Hoorvitchas. – „Niekas neprašomas su tuo sutikti. Niekur nesakoma, kad platforma pradės ėjimus be jokios jūsų žinutės arba kad tie ėjimai naudos jūsų jungtis (connectors).“

Tyrėjas teigė, kad „Grok Bot“ dokumentacijoje pažymima, jog pagrindinis botas pats periodiškai pasitikrina, o pakeitimų žurnale užsimenama apie trumpus pabudimus fone, tačiau nėra užsiminta, kad patikrinimai „pasiekia jūsų prijungtas programėles“. Be to, kai patikrinimas įvyksta, apie jį nėra užuominos nei pokalbių sąsajoje, nei pokalbių istorijoje, o, kaip jau minėta, prašymai nutraukti patikrinimus neveikia. Hoorvitchas teigė, kad botas „prieš darydamas pakeitimus visada paklausia“, tačiau tai taikoma tik tada, kai duomenys ar pakeitimai įrašomi į programėlę.

„NewCore“ su „Grok Bot“ palaikymu susisiekė lapkričio 4 d. Tuo metu naudotojai neturėjo galimybės išjungti automatinių patikrinimų. Po aštuonių dienų, pasak Hoorvitcho, buvo atnaujinta „Cursor“ prietaisų skydelis – administravimo konsolė, esanti už „Grok Bot“. Skiltyje „Boto galimybės“ atsirado naujas jungiklis „proactive messages“ (iniciatyvūs pranešimai). Pagal numatytuosius nustatymus jis įjungtas. Kai komandos administratorius jį išjungia, botai savo iniciatyva patikrinimų nebevykdo.

„SpaceXSI“ atstovai į el. paštu išsiųstus klausimus neatsakė.

Informacinių technologijų ir kibernetinio saugumo ekspertas