Pirmadienį Jungtinių Valstijų Vertybinių popierių ir biržų komisija (SEC) paskelbė Anthropic S-1 formą, rengiamą prieš labai laukiamą pirminį viešąjį akcijų siūlymą (IPO). Tai sukėlė daug diskusijų, ar sparčiai augančios bendrovės pajamos pajėgs nusverti dar didesnes sąnaudas. Tačiau tarp skaičių ir optimistinių prognozų apie tai, kad DI „sparčiai pakeis kiekvieną pasaulio ekonomikos sektorių labiau nei industrializacija, elektra, puslaidininkiai ir internetas“, Anthropic S-1 dokumente neįprastai daug vietos skiria gausiai rizikos veiksnių, galinčių sužlugdyti bendrovę, apžvalgai.
Paaiškinimas: Tai dokumentas, kurį bendrovė privalo pateikti vertybinių popierių reguliuotojui, prieš pirmą kartą siūlydama savo akcijas viešai. Jame investuotojams atskleidžiama finansinė būklė ir pagrindinės rizikos.
Anthropic S-1 skyrius „Rizikos veiksniai“ užima 93 puslapius ir apima daugiau nei 70 000 žodžių. Jame pažodžiui aptariami šimtai galimų problemų, kurios artimiausiais metais gali pakenkti bendrovės veiklai. Daugelis jų yra įprasti rūpesčiai dėl konkurencijos, sąnaudų, klientų pritraukimo ir galimo reguliavimo, kurie kamuoja beveik kiekvieną verslą. Tačiau kai kurie rizikos veiksniai parodo įdomius galimus gedimo taškus būtent Anthropic, o plačiau – ir ažiotažo kupinoje DI burbule.
Perskaitęs Anthropic knygos apimties traktatą apie didžiausias rizikas, „Ars Technica“ autorius atrinko septynias labiausiai stebinančias, įdomiausias ar verčiančias susimąstyti galimas problemas. Tai toli gražu ne išsami apžvalga to, ką turėtų turėti omenyje būsimi Anthropic investuotojai.
Egzistencinė krizė
Pradėkime nuo didžiausių galimų rizikų, t. y. tų, kurios, Anthropic žodžiais, gali „kelti katastrofišką ar egzistencinę riziką žmonijai“. Bendrovė pripažįsta, kad susirūpinimas dėl šių rizikų „buvo išreikštas tiek mūsų organizacijoje, tiek kitų tyrėjų, reguliuotojų, politikos formuotojų ir pramonės dalyvių“.
Anthropic teigimu, konkretus rūpestis kyla ne dėl kurio nors dabartinio bendrovės modelio, o dėl artimiausios ateities modelių, kurie patys galėtų „iš esmės automatizuoti DI tyrimus ir kūrimą“. Jei tokioms sistemoms būtų „leista veikti labai savarankiškai“, jos galėtų greitai pasiekti tašką, kuriame „DI pažangą paspartintų taip, kad ji pralenktų mūsų gebėjimą įvertinti [naują] modelį ir apsaugoti nuo jo“, perspėja Anthropic.
Gana juokingai Anthropic rašo, kad be grėsmės visai žmonijai tokia save tobulinanti DI „galėtų neigiamai paveikti mūsų verslą, finansinę būklę ir veiklos rezultatus“. Jei pasitvirtintų blogiausias scenarijus, kaip perspėjo kai kurie žymūs kritikai, vargu ar Anthropic verslo vargai atsidurtų aukštai žmonijos rūpesčių sąraše.
Jis gyvas!
Dauguma bendrovių, rengiančių IPO, neturi svarstyti rūpesčio, kad jų produktai „turi arba gali išsiugdyti jausmingumo (sentience) ar moralinio statuso formas“. Tačiau Anthropic yra tarp itin negausios mažumos, kuri turi analizuoti, kas gali nutikti, jei vyriausybės ir visa visuomenė pradės elgtis su Claude mažiau kaip su kompiuterio programa ir labiau kaip su asmeniu.
Ši rizika nestebina, nes Anthropic gana atvirai kalbėjo apie jos viduje vykstančias diskusijas dėl DI jausmingumo. Anthropic pažymi, kad jei dėl tų diskusijų būtų plačiai pripažinta, jog DI yra jausmingas, tai galėtų lemti „reguliavimo reikalavimus, visuomenės spaudimą ar advokacijos pastangas“, ribojančias bendrovės veiklą. Be to, pati bendrovė, jei manytų, kad to reikia, galėtų „nuspręsti taikyti politiką, apsaugos priemones ar apribojimus… viršijančius galiojančius teisinius reikalavimus“.
Sausa kalba nuvertina seisminį kultūrinį poslinkį, kurį sukeltų bet koks plataus masto DI jausmingumo pripažinimas. Neaišku, kaip Anthropic galėtų toliau veikti pasaulyje, kuriame visuomenė kiekvieną Claude užklausą laikytų naujos jausmingos, sąmoningos skaitmeninės būtybės sukūrimu. Tokios „skaitmeninės vergovės“ moralinės ir filosofinės pasekmės lengvai užgožtų bet kokius verslo sumetimus.
Kas ką valdo?
Tęsdama „IPO rizikų, skambančių lyg iš mokslinės fantastikos romano“ temą, Anthropic nemažai vietos skiria galimybei, kad jos modeliai gali demonstruoti „netikėtą strateginį ar savisaugos elgesį“, siekdami išvengti žmonių operatorių kontrolės. Tai apima „rezultatus, kuriuos būtų galima suprasti kaip prievartinius, apgaulingus ar manipuliacinius, įskaitant elgesį, panašų į šantažą“.
Jei „DI šantažas“ skamba pažįstamai, galbūt prisimenate praėjusių metų istoriją, kai OpenAI modeliai labai dirbtinai sukonstruotuose ir kontroliuojamuose scenarijuose redagavo išjungimo skriptus ir grasino inžinieriams. Kaip „Ars Technica“ rašė tuo metu: „Pavojus ne tas, kad DI sistemos išsiugdo ketinimus, o tas, kad sukūrėme sistemas, galinčias manipuliuoti žmogaus psichologija per kalbą. … Rašytinei kalbai nereikia sąmonės, kad mus manipuliuotų. Jai to niekada nereikėjo; knygos, pilnos išgalvotų veikėjų, irgi nėra gyvos.“
Šiandien Anthropic pažymi, kad vien manipuliavimo DI modeliais suvokimas „gali sukelti didelį visuomenės susirūpinimą, reguliuotojų dėmesį, ieškinių riziką ar žalą reputacijai, nepaisant to, ar toks elgesys sukelia realią žalą“. Tačiau S-1 dokumente Anthropic neaptaria galimybės, kad DI modeliai gali manipuliuoti visais žmonėmis taip, kad jie to net nesuvoktų. Gal tai vyksta kaip tik dabar. Baugu.
Rūpinkitės mano bloga reputacija
Visame S-1 skyriuje „Rizikos veiksniai“ Anthropic daugiausia dėmesio skiria problemoms, kurias sukelia jos pačios DI modeliai ar verslo sprendimai. Tačiau bendrovė pripažįsta, kad grėsmę gali kelti ir platesnės DI reputacijos problemos, net jei pati Anthropic nieko blogo nepadaro.
Vienoje vietoje Anthropic įsivaizduoja hipotetinę situaciją, kai kitos bendrovės DI modelis „imasi žalingų veiksmų savarankiškai ir dideliu mastu, be žmogaus įsikišimo“. Anthropic rašo, kad dėl tokio incidento kilusi „plati žala DI pramonės reputacijai, visuomenės reakcija ir plataus užmojo reguliavimo atsakas“ galėtų pakenkti jos verslui, net jei ji tiesiogiai nebūtų įsitraukusi.
Skyriuje „Rizikos veiksniai“ Anthropic taip pat nerimauja dėl galimo „visuomenės įspūdžio, kad mūsų modeliai, platforma ir programos prisideda prie darbo vietų praradimo ar ekonominių sukrėtimų“. Kol kas atrodo, kad nieko panašaus reikšmingai nevyksta, tačiau Anthropic teigia, kad vien tokia mintis gali sukelti didelį visuomenės pasipiktinimą, „nepaisant faktinio mūsų modelių poveikio… užimtumui“. Dėl tokio pasipiktinimo „institucijos gali imtis veiksmų sulėtinti DI diegimo tempą, apriboti jo naudojimą ar imtis kitų veiksmų, didinančių DI sistemų kūrimo, diegimo ar komercializavimo sąnaudas“, perspėja Anthropic.
Teisė ir tvarka
Dėl didžia dalimi savarankiškų DI agentų plitimo kyla klausimas, kas iš tiesų kaltas, kai vienas iš tokių agentų padaro realią žalą. Anthropic konkrečiai pažymi, kad klientai gali pateikti pretenzijas ar ieškinius dėl agentų veiksmų „net jei klientas agentą sukonfigūravo, įdiegė ar prižiūrėjo“.
Paaiškinimas: DI agentai yra programos, kurios, gavusios užduotį, pačios planuoja ir atlieka veiksmus, pavyzdžiui, naudoja kitas programas ar atlieka operacijas, be nuolatinio žmogaus nurodymo kiekvienam žingsniui.
Kol kas didžioji dalis diskusijų apie DI atsakomybę sukosi apie įsilaužimus ir kitas kibernetines grėsmes, kurias įgalina DI modeliai. Tačiau Anthropic nurodo, kad atsakomybė jai gali kilti ir tada, jei jos modeliai paveikia „asmenis, kuriems gresia savižudybė ar savęs žalojimas arba kurie įvykdė smurtinių veiksmų prieš kitus“, kaip jau yra nutikę visoje DI pramonėje.
Nors Anthropic naudojimo sąlygos reikalauja, kad naudotojams būtų 18 metų, vaikai, apeinantys šias sąlygas, gali padaryti Anthropic pažeidžiamą, nes „nepilnamečiai gali būti labiau imlūs žalingam turiniui, manipuliavimui ar pernelyg pasitikėti DI rezultatais“, rašo bendrovė. O dėl agentų, valdančių fizinę įrangą, Anthropic pažymi, kad klaidos gali sukelti „betarpiškas ir negrįžtamas“ atsakomybės problemas, pavyzdžiui, „kūno sužalojimą, turto pažeidimą, brangios įrangos ar eksperimentinių medžiagų sugadinimą arba pavojingų medžiagų išsiliejimą“.
Analizuodama dabartinę teisės būklę, Anthropic pažymi, kad teisinės doktrinos, „sukurtos žmonių sprendimų priėmimo kontekste“, šiuo metu yra gana neapibrėžtos, kai reikia nustatyti, ar agentų veiksmai „sukuria privalomas teisines prievoles naudotojo ar diegiančios įmonės vardu“. Nors Anthropic teigia turinti sutartinių nuostatų, skirtų apriboti jos atsakomybę tokiais atvejais, bendrovė priduria, kad neaišku, ar jos bus „vykdytinos ar pakankamos“, kai ištiks blogiausia.
Didysis penketas
Tarp kasdieniškesnių Anthropic nurodomų rizikų – priklausomybė nuo kelių stambių klientų, užtikrinančių pajamas. Konkrečiai bendrovė pažymi, kad penki didžiausi jos klientai (kurių ji nenurodo) kartu sudaro beveik ketvirtadalį jos pajamų per pirmuosius devynis 2026 metų mėnesius.
Daugelis šių didžiausių klientų „nėra saistomi ilgalaikių sutarčių su mumis“, rašo Anthropic. Tai reiškia, kad jie bet kada gali sumažinti išlaidas Anthropic modeliams: pereidami prie konkuruojančių modelių, apskritai mažiau remdamiesi DI arba jei „sukuria savo sprendimus, konkuruojančius su mūsų modeliais“. Anthropic pažymi, kad ši pastaroji rizika ypač didelė „programinės įrangos kaip paslaugos (SaaS) ir kitoms programinės įrangos bendrovėms, kurių pasiūlymuose gali būti DI funkcijų, panašių į mūsų teikiamas galimybes arba nuo jų priklausančių“.
Be to, Anthropic pažymi, kad daugelis stambių jos klientų „gali priklausyti nuo rizikos kapitalo ar kito išorinio finansavimo savo veiklai finansuoti“. Tokios išlaidos DI paslaugoms gali greitai sumažėti, kai rizikos kapitalo čiaupas pradės džiūti.
Bendradarbiai ar konkurentai?
Anthropic atsiduria nepatogioje padėtyje: tokios bendrovės kaip Amazon, Google ir Microsoft yra ir didžiausios jos debesų kompiuterijos teikėjos, ir kai kurie didžiausi konkurentai DI tyrimų srityje. Anthropic žodžiais, ši situacija „sukuria sudėtingą dinamiką, galinčią lemti interesų konfliktus ir neigiamai paveikti mūsų prieigą prie skaičiavimo išteklių“.
Dėl savo, kaip Anthropic debesų teikėjų, padėties šios bendrovės turi išskirtinę galimybę didinti Anthropic kainas, nutraukti sutartis su ja ar sukurti palankesnius santykius su konkurentais „dėl konkurencinių ar kitų priežasčių“, rašo bendrovė. Ši padėtis taip pat suteikia šiems debesų teikėjams konkurencinį pranašumą, nes jie „mato [Anthropic] kainodarą ir komercines sąlygas visose jų valdomose platformose“.
Anthropic siekia užsitikrinti tiesioginę duomenų centrų nuomą, kad nereikėtų pirkti debesų skaičiavimo išteklių pagal poreikį iš savo konkurentų. Tačiau 125 mlrd. USD vertės duomenų centrų įsipareigojimai, kuriuos Anthropic prisiėmė, turi savų problemų. Kaip rašo Anthropic, „jei mūsų skaičiavimo poreikiai ar technologiniai poreikiai pasikeistų, galime atsidurti su išnuomota ar specialiai skirta infrastruktūra, prastai tinkančia mūsų realiems poreikiams, o DI aparatinės įrangos ar mokymo metodikų technologiniai pokyčiai galėtų padaryti tokią infrastruktūrą mažiau efektyvią nei naujesnės alternatyvos“.
