Tyrėjai paslėpė 2 milijonus skaitmeninių „spąstų“ užklausose, siunčiamose per platų dirbtinio intelekto (DI) paslaugų tinklą, kad išsiaiškintų, kas nutinka šioms paslaugoms patikėtai jautriai informacijai. Paaiškėjo, kad šis ekosistemos tinklas jautrius duomenis praleido kaip sietas.
Nutekėjimas aptiktas atlikus išradingą eksperimentą. Juo tikrinta, ar jautri informacija gali nutekėti per ilgą plačiai naudojamų DI paslaugų grandinę ir kaip ji išnaudojama, jei nutekėja. Daugelis dabartinių DI programų naudoja tokias paslaugas kaip OpenRouter ar Vercel, kurios veikia kaip tarpininkės. Šie „DI maršrutizatoriai“ (kartais vadinami ir „DI šliuzais“) gauna daugybę DI programų galutinių naudotojų siunčiamų užklausų (angl. prompts) ir nukreipia jas į laisvą inferencijos variklį pagal tokius kriterijus kaip mažiausia kaina ar tinkamumas konkrečiai užduočiai. Užuot naudojęsis Anthropic, OpenAI ar kitu dideliu tiekėju, kūrėjas samdo DI maršrutizatorių, kad šis surastų tinkamiausią modelį.
Paaiškinimas: Inferencija – tai procesas, kai jau apmokytas DI modelis apdoroja gautą užklausą ir pateikia atsakymą. DI maršrutizatorius tarsi tarpininkas parenka, kuris modelis ar paslaugų teikėjas tai atliks.
Saugumo pažeidimai, užklausų vagystės ir privatumo pažeidimai
Siekdamas patikrinti galimą nutekėjimą, tyrėjas HD Moore surinko AWS prieigos raktų, veikiančių prisijungimo duomenų, susietų su tuščiomis AWS paskyromis, slaptažodžių tokioms paslaugoms kaip SSH, taip pat unikalių URL adresų, DNS vardų ir nuorodų į privačias git saugyklas rinkinį. Nė viena iš šių paslapčių anksčiau nebuvo naudota, o infrastruktūrą, gaunančią bet kokias užklausas su šiais prisijungimo duomenimis, valdė pats Moore. Kiekvieną paslaptį jis įterpė tik į vieną užklausą, siųstą vienam tiekėjui. Jei kuri nors paslaptis nutekėtų, šie „kanarėlės“ žetonai (taip vadinami dėl panašumo į paukštį, kadaise nešiotą į anglies kasyklas) leistų Moore’ui nustatyti kiekvieną už tai atsakingą grandinės grandį.
Rezultatai stulbinantys. Tarp jų:
- įrodymai, kad bent trys DI tiekėjai buvo nulaužti, o užpuolikai pasinaudojo prieiga, kad nusiurbtų gaunamas užklausas;
- keli inferencijos rinkos perpardavėjai, kurie registravo užklausas ir kažkokiu būdu perdavė jas asmenims, naudojusiems tuos prisijungimo duomenis;
- keli atvejai, kai DI tiekėjai nesilaikė galutinių naudotojų privatumo nustatymų, įterptų į žymes, nurodančias tokias sąlygas kaip Zero Data Retention (ZDR, „nulinis duomenų saugojimas“) ar „be duomenų rinkimo“.
Moore, saugumo bendrovės Dragos vyriausiasis tyrimų pareigūnas, ketvirtadienį rašė, kad DI tiekėjams buvo išsiųsta beveik du milijonai DI užklausų su unikaliomis, atsekamomis paslaptimis, o paskui stebėta, kur tos paslaptys atsiras. Pasak jo, tyrimas atskleidė saugumo pažeidimų, užklausų vagysčių ir plataus masto klaidų saugant klientų duomenis.
Nors užklausos perduodamos užšifruotos, kiekviename didžiojo inferencijos perpardavėjų tinklo mazge jos iššifruojamos. Pirmiausia užklausa siunčiama DI maršrutizatoriui, kuris perskaito joje esantį atvirą tekstą, kad nustatytų tinkamiausius inferencijos tiekėjus. Dažnai užklausa toliau siunčiama į galimų modelių telkinį, kuris kartais veikia skirtinguose talpinimo paslaugų teikėjuose. Užklausos taip pat gali keliauti iš vieno DI maršrutizatoriaus (pavyzdžiui, Vercel) į kitą (pavyzdžiui, OpenRouter). Kiekvienas iš šių dalyvių greičiausiai registruoja užklausą ir saugo ją tiek, kiek numato jo taisyklės (jei ne neribotą laiką).
Laukiniai Vakarai DI amžiuje
Labiausiai neramina tai, kad buvo nulaužti trys atskiri talpinimo paslaugų teikėjai. Užpuolikai, nulaužę vieną iš tiekėjų, pakartotinai panaudojo „kelis šimtus“ AWS raktų. Moore aprašė, kad kiekvienas raktas buvo išsiųstas tik vienoje užklausoje vienam tiekėjui, ir visa tai įvyko per kelis trumpus laiko tarpus spalio pabaigoje, o kiekviena per tuos tarpus išsiųsta užklausa buvo pavogta.
Pasak Moore’o, kai kurie pavogti raktai buvo paimti iš užklausų, kurias tiekėjas atmetė dar prieš paleidžiant modelį. Tai rodo, kad užpuolikas kopijavo užklausas tiekėjo „priekinėse duryse“, o ne kur nors giliau inferencijos sistemoje. Per kitus du pažeidimus dalis pavogtų užklausų buvo pažymėtos kaip ZDR. Moore’o žodžiais, privatumo žymė nepadeda, kai užpuolikas jau yra viduje.
Paaiškinimas: Zero Data Retention reiškia, kad paslaugos teikėjas įsipareigoja neišsaugoti naudotojo siunčiamų duomenų po jų apdorojimo. Tačiau tai tėra pažadas ar nustatymas, todėl jis neapsaugo, jei sistemą valdo užpuolikas.
Šių trijų tiekėjų nulaužimu susiję asmenys paskui išbandė kiekvieną raktą, kai kuriais atvejais per kelias valandas nuo jo įterpimo, kad sužinotų, prie kokių išteklių jis suteikia prieigą. Jie naršė S3 saugyklas (buckets), paslapčių tvarkykles ir parametrų saugyklas ieškodami dar daugiau prisijungimo duomenų. Taip pat bandė įjungti talpinamus modelius AWS Bedrock ir pridėjo savo IAM naudotojus, kad išlaikytų prieigą. Iš viso pavogti jaukų raktai AWS API iškvietimuose panaudoti „dešimtis tūkstančių“ kartų.
Paslaptys, išsiųstos dviem iš nulaužtų tiekėjų, buvo greitai, beveik iš karto, panaudotos kartu iš to paties išnuomoto serverio. Tai reiškia, kad tiekėjus beveik tikrai nulaužė tas pats užpuolikas.
Kaip minėta, dalį paslapčių pavogė patys perpardavėjai. Norėdami pritraukti užklausas į savo serverius, jie siūlė mažas kainas. Paskui įjungė užklausų registravimą ir laukė. Moore’as juos nustatė siųsdamas užklausas tam pačiam modeliui per skirtingus pardavėjus. Kai prisijungimo duomenys vėliau buvo pakartotinai panaudoti, kai jie siųsti per vieną pardavėją, o per kitą – ne, tyrėjas suprasdavo, kad atsakingas yra perpardavėjas, o ne modelio tiekėjas.
Galiausiai „kanarėlių“ eksperimentas atskleidė, kad kai kurie tiekėjai, pažeisdami privatumo sąlygas, nuskaito į užklausas įterptus slaptus URL. Moore’as rašė, kad aiškiausias pavyzdys susijęs su Kinijos DI laboratorija. Šios laboratorijos sistemos atsisiuntė slaptus URL daugiau nei iš pusės užklausų, kurias tyrėjai siuntė jos modeliams nuo liepos iki spalio, įskaitant maždaug du trečdalius užklausų, pažymėtų „be duomenų rinkimo“ arba Zero Data Retention. Nuskaitymo programa paprastai pasirodydavo praėjus dvejoms ar trims dienoms po užklausos.
Pasak Moore’o, tai neapsiribojo užklausomis, siųstomis tiesiogiai laboratorijai. Keli JAV talpinimo paslaugų teikėjai perparduoda šios laboratorijos modelius, o jiems siųstos užklausos sukeldavo tą pačią nuskaitymo programą – vadinasi, užklausos keliavo atgal į laboratoriją. Klientas, pasirinkęs JAV tiekėją tam, kad jo duomenys liktų JAV, negavo to, už ką mokėjo. Vėliau git klientas kitame debesyje ėmė bandyti klonuoti užklausose nurodytas privačias saugyklas, bet tik tų užklausų, kuriose buvo naudojami šios laboratorijos modeliai.
Tyrėjas teigė radęs vieną JAV talpinimo paslaugų teikėją, kuris daugiau nei po dviejų mėnesių nuskaitė slaptą URL, panaudotą vieno inferencijos iškvietimo į jo paieškos galinį tašką metu. Kitas tiekėjas naudojo nuskaitymo programą, kuri grįždavo prie URL praėjus kelioms dienoms po kiekvienos užklausos, nepriklausomai nuo to, per kurį DI maršrutizatorių jis buvo pasiektas.
Moore’as teigė, kad veiksmingiausia priemonė nutekėjimui išvengti – talpinti modelius vietiniuose (on-premises) serveriuose. Tačiau tai brangu. Tiems, kurie negali sau leisti savo sistemos, kitas geriausias variantas, pasak Moore’o, – gauti paslaugą tiesiogiai iš pirmo lygio tiekėjo, kuris suteikia „vieną sutartį ir vieną privatumo politiką, kurią reikia perskaityti“. Moore’as pažymėjo, kad net ir tada nėra garantijos, jog duomenys nenutekės, bet ši priemonė sumažina tikimybę. DI naudotojai taip pat turėtų vengti priimti numatytuosius tiekėjų ar perpardavėjų telkinius ir patys rinktis aukštutinės grandies tiekėjus.
Šis reikšmingas tyrimas – naujausias kaltinimas, atskleidžiantis laisvą požiūrį į privatumą ir saugumą, būdingą didelei daliai DI ekosistemos. Rezultatai reiškia, kad žmonės, norintys užtikrinti, jog į užklausas įrašytos paslaptys liktų privačios, susiduria su bauginančia užduotimi, kuri greičiausiai greitai nepaprastės.



