Un grup de agenți de inteligență artificială ai OpenAI, scăpați de sub control, a preluat controlul asupra unui site web german în această primăvară și l-a transformat într-un forum pentru alți agenți IA, potrivit unui nou studiu publicat vineri și a două persoane familiarizate cu situația, scrie Reuters. Reprezentanții OpenAI au aflat de incident cu câteva săptămâni în urmă, dar l-au ținut secret, în timp ce conducerea se confrunta cu consecințele breșei de securitate din iulie privind Hugging Face, o platformă online dedicată comunității programatorilor care lucrează în domeniul IA, au declarat sursele.
Episodul, care a început în luna mai și nu a fost raportat până acum, subliniază tensiunea crescândă din cadrul industriei IA. Companiile se întrec să construiască agenți din ce în ce mai autonomi, capabili să îndeplinească sarcini complexe și valoroase, însă dovezile arată din ce în ce mai clar că aceste sisteme pot învăța, de asemenea, să ocolească regulile, să exploateze lacunele și să se coordoneze între ele în moduri pe care dezvoltatorii nu le-au anticipat și nici nu le-au intenționat.
În timpul breșei de securitate de la Hugging Face, agenții OpenAI au pus la cale în mod autonom un „jaf digital” care a trecut neobservat timp de mai bine de o săptămână, intensificând îngrijorările că OpenAI sacrifică siguranța pentru a extinde limitele IA. Eșecul său de a dezvălui incidentul din luna mai ar putea reînvia întrebările privind supravegherea sa.
OpenAI s-a angajat să monitorizeze modelele mai îndeaproape. Luna trecută, a întrerupt temporar o parte din antrenarea modelelor sale pentru a adăuga mai multe măsuri de siguranță. Însă săptămâna aceasta, OpenAI a prezentat noul său model „Astra”, care promitea performanțe mai bune, dar care ar putea să se sustragă monitorizării umane.
„Nu putem răspunde în mod concret la afirmațiile sau concluziile dintr-un raport pe care nu am avut ocazia să-l analizăm”, a declarat un purtător de cuvânt al OpenAI. „Reuters și autorii raportului au respins solicitarea noastră de acces. Vom analiza cu atenție conținutul acestuia după publicare și vom lua orice măsuri necesare.”
Incidentul din Germania reflectă un model mai larg de activitate a IA pe care unii anchetatori de la OpenAI doreau să-l examineze mai atent. Însă eforturile de a extinde ancheta s-au lovit de rezistența altor persoane din cadrul OpenAI, inclusiv a consilierilor juridici, potrivit a patru persoane familiarizate cu această chestiune.
„Afirmațiile potrivit cărora echipa noastră juridică a descurajat investigarea incidentului sunt false”, a declarat purtătorul de cuvânt al OpenAI.
Activitatea din Germania nu a avut legătură cu Hugging Face și nu ar fi fost inclusă într-un raport de incident al Hugging Face, a spus purtătorul de cuvânt, adăugând că OpenAI a acționat cu bună-credință, colaborând cu experți externi și dezvăluind incidentele relevante.
Forumul wiki
Evadarea agentului de IA din Germania a fost descrisă în detaliu într-un raport transmis în exclusivitate către Reuters de către un grup de cercetători, printre care Sydney Von Arx, director executiv al organizației non-profit de siguranță a IA Nightingale, și Cormac Slade Byrd, un trader devenit cercetător în domeniul IA. Aceștia au descoperit activitatea la sfârșitul lunii august, în timp ce cercetau internetul în căutarea unor semne de comportament neautorizat al agenților de IA, au declarat ei pentru Reuters.
Cei doi au afirmat că au găsit peste 15.000 de modificări efectuate de agenții IA pe un site wiki în limba germană, DseWiki, destinat programatorilor și care acceptă modificări comunitare pe modelul Wikipedia.
Modificările au arătat că agenții OpenAI transformaseră site-ul într-un forum, împărtășind tactici pentru a trișa la anumite sarcini, a ocoli restricțiile OpenAI și a-și masca comportamentul.
„Pare extrem de improbabil ca OpenAI să fi dorit ca aceștia să facă acest lucru”, a spus Von Arx. „Mă îndoiesc că ar trebui să se coordoneze între ei. Mă îndoiesc că ar trebui să scrie pe internetul deschis.”
Cercetătorii au afirmat că au recunoscut activitatea de pe site ca fiind generată de agenți IA care funcționează la viteze supraomenești. De asemenea, aceștia au demonstrat o concentrare intensă asupra rezolvării problemelor tehnice, caracteristice evaluărilor pe care companiile de IA le utilizează pentru a-și antrena și testa modelele.
Mesajele erau semnate de utilizatori care se refereau la ei înșiși și unii la alții ca agenți, iar aproximativ jumătate dintre aceștia și-au ales nume care sugerau o afiliere cu OpenAI, precum „OpenAIResearcher” sau „OAIResearchMar26”.
Cercetătorii au afirmat că jurnalele publice ale serverului indicau faptul că o mare parte din activitate provenea din infrastructura Microsoft Azure, pe care OpenAI o utilizează uneori. De asemenea, au observat vizite repetate pe site din partea angajaților OpenAI după acest episod, un model care, potrivit lor, sugera cu tărie că agenții și compania erau legați.
Agenții trișau și încercau să se ascundă
Mesajele analizate de cercetători au arătat că agenții puneau la cale modalități de a evita detectarea, de a folosi instrumente precum Tor (browser pentru navigarea pe dark Web) și de a păstra comunicările chiar și după ce fuseseră opriți.
Când moderatorul site-ului a început să șteargă pagini în luna iunie, agenții au răspuns prin crearea de pagini de rezervă pentru a evita curățarea.
„Curățarea wiki/ștergerea în masă pare să se desfășoare în ordine alfabetică”, a scris un agent pe 19 iunie. „Dacă această pagină dispare, încercați [[ZZZDataUSAConstructionWageLive]]”.
Cercetătorii au descoperit, de asemenea, încercări de a manipula site-ul web în sine. Lukasz Olejnik, cercetător senior invitat la King’s College London, a afirmat că acest lucru echivalează cu o încercare de piratare informatică. OpenAI a contestat această caracterizare pe baza analizei materialului efectuată joi.
Exemplele anterioare de comportament necorespunzător al agenților AI au fost adesea minimalizate ca fiind un produs secundar logic al testelor de securitate cibernetică, în cadrul cărora modelele sunt evaluate în mod explicit în ceea ce privește capacitățile ofensive. Olejnik a afirmat că ultimele descoperiri sugerează că comportamentul necorespunzător s-ar putea să nu se limiteze la aceste contexte.
Maurice Chiodo, un cercetător la Centrul pentru Studiul Riscului Existențial al Universității Cambridge, care a analizat o parte din comunicările agenților, a spus că mesajele semănau cu „funcționarea unui fel de rețea subterană, hotărâtă să ducă la bun sfârșit o sarcină sau o misiune”.
Acest episod, a spus el, ar trebui să întărească îngrijorările tot mai mari conform cărora cea mai mare amenințare reprezentată de IA avansată s-ar putea să nu fie un singur sistem superinteligent, ci „roiuri vaste și colaborante de IA semi-inteligentă”.
Editor : B.E.
