Kai pirmą kartą pamačiau demonstracinį vaizdo įrašą, kuriame Claude pats atidarinėja naršyklę, spustelėja mygtukus ir pildo formas, jausmas buvo keistas – tarsi stebėtum kažką, kas dar visai neseniai atrodė kaip tolimos ateities scenarijus iš mokslinės fantastikos filmo. Anthropic pristatė funkciją, pavadintą „computer use”, ir ji iš esmės keičia tai, ką supratome apie dirbtinio intelekto galimybes. Vietoj to, kad modelis tik generuotų tekstą ar kodą, jis dabar gali tiesiogiai sąveikauti su kompiuterio ekranu – taip, kaip tai darytų žmogus, sėdintis prie klaviatūros ir pelės.
Šis straipsnis skirtas tiems, kas nori suprasti, kaip tai iš tikrųjų veikia po gaubtu, kokios yra realios panaudojimo galimybės ir kur slypi pavojai, apie kuriuos verta žinoti prieš leidžiant AI liestis prie savo darbo aplinkos.
Kas per velnias yra tas „computer use”?
Paprastai tariant, Anthropic sukūrė galimybę, kai Claude modelis (konkrečiai – Claude 3.5 Sonnet versija, vėliau ir naujesnės) gauna kompiuterio ekrano nuotrauką, analizuoja, kas joje vaizduojama, ir tada nusprendžia, kokį veiksmą atlikti. Tai gali būti pelės paspaudimas konkrečiose koordinatėse, teksto įvedimas, klaviatūros klavišų kombinacijos ar slinkimas ekrane.
Svarbu suprasti – tai nėra atskiras produktas su gražia sąsaja, kurį galima tiesiog atsisiųsti ir paleisti. Tai API funkcionalumas, skirtas kūrėjams, kurie nori integruoti tokį elgesį į savo aplikacijas. Anthropic pateikė ir referencinę implementaciją per Docker konteinerį, kad kiekvienas galėtų pabandyti, kaip tai veikia praktikoje, bet realiam naudojimui reikia šiek tiek techninių žinių arba pasitikėjimo trečiųjų šalių įrankiais, kurie jau integravo šią funkciją.
Palyginimui – tai panašu į tai, kaip jei duotum žmogui, kuris niekada nematė tavo kompiuterio, nuotrauką ekrano ir paprašytum: „Štai, dabar paspausk čia”. Modelis kiekvieną kartą iš naujo „žiūri” į ekraną, nes jis neturi jokios nuolatinės atminties apie tai, kur kas yra – viskas grindžiama vaizdo analize realiu laiku.
Techninė virtuvė: kaip modelis „mato” ekraną
Procesas, jei jį suskaidytume į žingsnius, atrodo maždaug taip: aplikacija padaro ekrano nuotrauką, ji siunčiama Claude kartu su užduotimi (pavyzdžiui, „atidaryk naršyklę ir susiraski oro prognozę Vilniui”). Modelis analizuoja vaizdą, atpažįsta mygtukus, tekstinius laukus, meniu ir kitus elementus, tada grąžina komandą – tarkim, „paspausti koordinatėse x=450, y=230”.
Tada aplikacija (ne pats modelis!) fiziškai atlieka tą veiksmą kompiuteryje, padaro naują ekrano nuotrauką ir vėl siunčia ją Claude, kad šis pamatytų rezultatą ir nuspręstų, ką daryti toliau. Šis ciklas kartojasi tol, kol užduotis įvykdoma arba modelis nusprendžia, kad reikia žmogaus pagalbos.
Kas įdomu – tai reikalauja iš modelio sugebėjimo interpretuoti vizualią informaciją tikrai tiksliai. Jei mygtukas pastumtas per kelis pikselius kitaip nei modelis manė, arba jei sąsaja pasikeitė po atnaujinimo, gali kilti klaidų. Būtent todėl Anthropic pabrėžia, kad ši funkcija dar yra ankstyvoje stadijoje – oficialiai vadinama „public beta” – ir klaidų tikimybė tikrai nėra nulinė.
Veiksmai, kuriuos gali atlikti Claude
Konkrečiai kalbant, galimybių sąrašas apima pelės kursoriaus perkėlimą, kairį/dešinį paspaudimą, dvigubą paspaudimą, teksto rinkimą, klavišų kombinacijas (pavyzdžiui, Ctrl+C), slinkimą ekrane bei laukimą tarp veiksmų, kai reikia, kad puslapis užsikrautų. Tai visiškai pakankamas rinkinys, kad būtų galima atlikti daugumą buitinių kompiuterio užduočių, kurias atlieka žmogus.
Kur tai tikrai naudinga: realūs panaudojimo scenarijai
Teorija teorija, bet kur tai realiai pritaikoma? Pirmiausia į galvą ateina automatizavimas užduočių, kurios šiaip jau reikalauja rankinio darbo tarp kelių sistemų, kurios neturi API sąsajos vienos su kita. Įsivaizduokite senos mokyklos programinę įrangą, kuri buvo parašyta prieš dvidešimt metų ir neturi jokio būdo integruotis su modernesniais įrankiais – tokiu atveju „computer use” gali veikti kaip tarpininkas, imituojantis žmogaus veiksmus.
Kiti realūs pritaikymo atvejai:
- Testavimo automatizavimas – programinės įrangos kūrėjai gali naudoti šią funkciją, kad išbandytų vartotojo sąsają taip, kaip tai darytų realus vartotojas, atrandant klaidas, kurių automatiniai testai galbūt nepastebėtų.
- Duomenų surinkimas iš skirtingų šaltinių, kai reikia peržiūrėti keliuose skirtinguose senoviniuose portaluose informaciją ir ją suvesti į vieną vietą.
- Formų pildymas – biurokratiniai procesai, kai reikia perkelti duomenis iš vieno dokumento į kitą per įvairias administracines sistemas.
- Mokomieji tikslai – demonstravimas, kaip atlikti tam tikrus veiksmus programinėje įrangoje, kai reikia paruošti instrukcijas.
Verta pastebėti, kad Anthropic sąmoningai pabrėžia – šiuo metu tai geriausiai tinka gana paprastoms, pasikartojančioms užduotims, o ne sudėtingiems, daugiapakopiams procesams, reikalaujantiems ilgo strateginio planavimo. Bandymai, kuriuos atliko patys kūrėjai bei bendruomenė, rodo, kad tikslumas kartais svyruoja – paprastesnės užduotys atliekamos gerai, o sudėtingesnės gali užstrigti arba baigtis nesėkme.
Rizikos, apie kurias tikrai reikia pagalvoti prieš pradedant
Čia dalis, kurią praleisti tikrai nevertėtų. Duoti dirbtiniam intelektui galimybę kontroliuoti kompiuterį – tai nėra tas pats, kas leisti jam parašyti el. laišką ar sugeneruoti kodo fragmentą. Jei modelis padaro klaidą, spustelėdamas ne tą mygtuką, pasekmės gali būti realios – nuo netyčia ištrintų failų iki nepageidaujamų pirkinių internetinėje parduotuvėje.
Anthropic pati atvirai įspėja apie kelis dalykus:
- Prompt injection atakos – jei modelis naršo internete ir aptinka svetainę su paslėptomis instrukcijomis (pavyzdžiui, tekstu, parašytu balta spalva ant balto fono), jis teoriškai gali būti „apgautas” atlikti veiksmus, kurių vartotojas neprašė.
- Neteisingi veiksmai dėl klaidingo ekrano interpretavimo – modelis gali klaidingai suprasti, kur yra mygtukas, ypač jei sąsaja neįprasta ar netvarkinga.
- Jautrių duomenų ekspozicija – jei kompiuteryje, kuriame veikia Claude, yra prisijungimo duomenys, asmeninė informacija ar finansiniai duomenys, rizika, kad tai bus atskleista ar netinkamai panaudota, tikrai egzistuoja.
Būtent dėl šių priežasčių oficiali rekomendacija – niekada nenaudoti šios funkcijos tiesiogiai savo pagrindiniame kompiuteryje su prisijungimais prie banko sąskaitų, darbo sistemų ar kitos jautrios informacijos. Vietoj to, rekomenduojama naudoti izoliuotą aplinką – virtualią mašiną arba Docker konteinerį, kuriame, jei kas nutiktų blogai, žala liktų izoliuota ir neišplistų į tikrąją sistemą.
Praktiniai patarimai, jei norite išbandyti patys
Jei jus sudomino ir norite pabandyti savo rankomis (arba tiksliau – Claude „rankomis”), štai keletas dalykų, kuriuos verta žinoti prieš pradedant:
Pradėkite nuo izoliuotos aplinkos. Anthropic pateikia referencinį Docker konteinerio pavyzdį GitHub repozitorijoje – tai geriausias startas. Konteineryje veikia virtualus Linux darbalaukis su naršykle ir keliomis bazinėmis aplikacijomis, kuriose galima saugiai eksperimentuoti nerizikuojant realiais duomenimis.
Nesitikėkite stebuklo iš karto. Pirmieji bandymai dažnai baigiasi tuo, kad modelis paspaudžia ne visai tą mygtuką arba užstringa kokioje nors keistoje situacijoje. Tai normalu – technologija dar tikrai nėra tobula, ir geriausia ją vertinti kaip labai daug žadantį, bet dar besiformuojantį įrankį.
Aiškiai formuluokite užduotis. Kuo konkretesnė ir aiškesnė instrukcija, tuo didesnė tikimybė sėkmingo rezultato. Užuot rašę „sutvarkyk man šitą chaosą”, geriau nurodykite konkrečius žingsnius, kuriuos norite matyti atliktus.
Stebėkite procesą, o ne tik rezultatą. Kadangi modelis dirba per ciklą „matau ekraną – priimu sprendimą – veikiu”, labai naudinga stebėti kiekvieną tarpinį žingsnį, ypač testavimo fazėje, kad pastebėtumėte, kur logika suklysta.
Apribokite prieigą. Jei jau naudojate produkcinėje aplinkoje ar realiame projekte, apribokite, prie kokių resursų modelis turi prieigą – neduokite jam plačių teisių „visą laiką”, o suteikite tik tai, kas reikalinga konkrečiai užduočiai.
O kaip su konkurentais?
Verta paminėti, kad Anthropic nėra vienintelė kompanija, žengianti šia kryptimi. Panašias idėjas plėtoja ir kitos AI laboratorijos, o ateityje tikėtina, kad tokio pobūdžio „agentiniai” modeliai, gebantys savarankiškai naviguoti skaitmeninėje aplinkoje, taps standartu, o ne išimtimi. Skirtumas tarp žaidėjų šiame lauke bus greičiausiai ne tiek pati koncepcija, kiek tikslumas, saugumo priemonės ir tai, kaip gerai modelis supranta kontekstą, kuriame veikia.
Microsoft, pavyzdžiui, taip pat investuoja į panašias funkcijas per Copilot ekosistemą, o Google eksperimentuoja su savo agentiniais sprendimais. Tad tai, ką matome dabar iš Anthropic, greičiausiai yra tik pirmas etapas ilgesnio lenktynių maratono, kuriame galutinis tikslas – AI, gebantis atlikti realų darbą kompiuteryje taip pat natūraliai, kaip tai daro žmogus.
Kompiuteris, kuris pats save valdo – ką tai reiškia rytojui
Grįžtant prie pradinės minties – tas jausmas, stebint, kaip AI savarankiškai naršo ekrane, tikrai kelia mišrius jausmus. Viena vertus, tai atrodo kaip logiškas žingsnis technologijos evoliucijoje – juk jei modelis gali suprasti tekstą, kodą ir vaizdus, kodėl jis negalėtų suprasti ir sąsajos, su kuria kasdien dirbame mes patys? Kita vertus, kiekvienas naujas lygis autonomijos atneša ir naują lygį atsakomybės, kurią turime prisiimti kaip vartotojai.
Šiuo metu „computer use” tikrai nėra magiškas sprendimas, kuris pakeis visus jūsų darbo procesus per naktį. Tai eksperimentinis, bet labai perspektyvus įrankis, kuris geriausiai tinka tam tikroms nišinėms situacijoms – ypač ten, kur trūksta tinkamos API integracijos arba kai reikia automatizuoti veiksmus senesnėse sistemose. Jei planuojate eksperimentuoti, darykite tai atsargiai, izoliuotoje aplinkoje, ir nesitikėkite, kad viskas veiks be klaidų iš pirmo karto.
Ateityje, tikėtina, matysime vis daugiau tokių sprendimų, kur riba tarp „programinės įrangos, kuri vykdo instrukcijas” ir „asistento, kuris savarankiškai sprendžia problemas” taps vis neryškesnė. O kol kas – geriausia strategija yra ta pati, kuri veikia su bet kokia nauja technologija: domėtis, testuoti, bet neužmiršti sveiko skepticizmo ir saugumo pagrindų. Galų gale, net jei Claude vieną dieną mokės tvarkyti visą jūsų skaitmeninį gyvenimą, būtų protinga pačiam žinoti, kaip atrodo tas mygtukas „atšaukti”.
