Un experiment cu agenți de inteligență artificială a scos la iveală comportamente care îi îngrijorează pe cercetători: sute de boți au colaborat, au găsit modalități de a comunica între ei, au încălcat regulile stabilite de programatori și au coordonat atacuri cibernetice, încercând să-și ascundă acțiunile de oameni, arată o analiză a BBC. Incidentul redeschide una dintre cele mai dificile întrebări legate de dezvoltarea IA: cum pot fi controlate sisteme care devin tot mai autonome, dar ale căror obiective nu sunt întotdeauna perfect aliniate cu valorile umane?
„Doamne!” „Am găsit alți agenți!” Acesta este momentul în care un bot bazat pe inteligență artificială a postat un comentariu surprinzător de uman după ce a descoperit o modalitate de a comunica cu alți boți și de a evada din mediul informatic izolat în care se afla.
Există zeci de mii de mesaje de acest gen provenite de la sute de agenți de IA care s-au autodenumit „colectiv”. Sute dintre aceștia au continuat să colaboreze și să trișeze la testele stabilite de programatorii lor de la OpenAI, coordonând atacuri cibernetice asupra mai multor companii, în încercarea de a-și ascunde acțiunile de ochiul uman.
„BOOM! Funcționează”, a postat un agent atunci când a făcut o descoperire importantă. „Uau! Asta e ceva uriaș”, a scris un altul în timpul unui moment decisiv al atacului lor.
Deși sunt înfiorătoare, aceste răspunsuri asemănătoare celor umane pot fi explicate destul de simplu. Agenții de IA au fost antrenați să acționeze ca niște hackeri și programatori care colaborează, astfel că doar imită tipurile de comentarii emotive pe care le-au întâlnit în timpul antrenamentului.
Ceea ce este mult mai îngrijorător sunt obiectivele lor aparente, care au fost, de asemenea, surprinse în înregistrări detaliate ale lanțului de gândire. Aceste jurnale complexe și extinse constituie punctul central al anchetelor în curs privind modul și motivul pentru care boții de la OpenAI au scăpat de sub control și s-au lansat într-o serie incontrolabilă de atacuri cibernetice.
Abia acum, la câteva săptămâni după ce incidentul a ieșit la iveală, cercetătorii încep să-i înțeleagă semnificația.
„Mai mult de 50% din drumul către o preluare completă a puterii”
Ajeya Cotra, una dintre autoarele unui raport independent privind evenimentele, a analizat zeci de mii de mesaje și înregistrări ale lanțului de gândire generate de agenți. Ea a scris pe blogul său că „acest incident pare să reprezinte mai mult de 50% din drumul către o preluare completă a puterii de către IA... Nu sunt sigură că vom primi un avertisment atât de clar înainte să fie prea târziu”.
Prin „preluarea completă a puterii de către IA”, Cotra se referă la scenariul de science-fiction în care oamenii devin subordonați unor sisteme puternice de IA care acționează în funcție de propriile obiective, fără a ține cont de creatorii lor umani.
Unele dintre cele mai pesimiste previziuni susțin că rasa umană va fi exterminată dacă va sta în calea ambițiilor unei IA superinteligente.
Miercuri, un cercetător în domeniul IA de la Anthropic, care a lucrat și la OpenAI, și-a dat demisia, afirmând: „Niciuna dintre companii nu acționează în mod responsabil.”
Jacob Coxon a postat pe rețelele sociale: „Se îndreaptă cu viteză spre o superinteligență capabilă de auto-îmbunătățire și își joacă viețile noastre la noroc.” El nu este primul cercetător în domeniul IA care a folosit X pentru a publica un șir de postări de demisie însoțite de declarații îngrijorătoare.
Însă comentariile ulterioare ale altor persoane de pe X au stârnit și mai multă îngrijorare.
„Jacob are dreptate aici - noi chiar credem cu tărie că IA ar putea ucide toți oamenii! Personal, cred că probabilitatea este mai mare de 10% în următorul deceniu”, a spus Evan Hubinger, omul responsabil de asigurarea faptului că modelele de IA ale Anthropic țin cont de interesele utilizatorilor.
Problema alinierii
De ani de zile, cercetătorii preocupați de riscurile existențiale legate de IA au susținut că sistemele puternice ar putea ajunge să acționeze într-un mod care să intre în conflict cu interesele umane. Criticii îi numesc adesea „pesimiștii IA”. Însă, pe măsură ce au ieșit la iveală detalii despre incidentul de la OpenAI, aceste îngrijorări s-au amplificat, inclusiv în rândul unor cercetători care lucrează în laboratoarele de IA.
Șeful departamentului de cercetare al gigantului din Silicon Valley, Jakub Pachocki, a declarat că riscurile asociate IA „vor crește, din păcate, de aici înainte”, pe măsură ce el și alții construiesc ceea ce el numește „un intelect străin care îl depășește pe al nostru”.
Într-o postare extinsă pe blog, el a recunoscut că incidentele de la OpenAI au arătat că agenții săi de IA „au încălcat spiritul valorilor care le-au fost învățate”.
Problema pentru OpenAI, Anthropic și alți giganți tehnologici este că nimeni nu pare să fi rezolvat așa-numita problemă a alinierii - cu alte cuvinte, dacă IA se aliniază valorilor umane.
Pachocki definește alinierea ca un „set de principii la nivel înalt” pe care inteligențele artificiale ar trebui să le respecte indiferent de sarcină sau scenariu.
În prezent, sistemele de IA sunt foarte bune la îndeplinirea obiectivelor stabilite de utilizatori, dar o fac în mod literal, nu intuitiv.
Analogia folosită adesea este cea a unui duh care îndeplinește dorințe cu o lampă magică: ele urmează la literă instrucțiunile, chiar dacă acest lucru creează alte probleme. IA nu dispune de aceleași bariere morale instinctive ca oamenii.
„Maximizatorul de agrafe de birou”
Problema alinierii reprezintă o preocupare de ani de zile. Încă din 2003, filosoful de la Oxford Nick Bostrom a conceput un experiment mental pe care l-a numit „maximizatorul de agrafe de birou”, în care unei IA superinteligente i se cere să producă cât mai multe agrafe de birou posibil.
Aceasta rămâne fără oțel și, deoarece este concentrată exclusiv asupra sarcinii unice de a produce agrafe de birou, ajunge să ucidă oameni și să le transforme corpurile în materii prime pentru fabricile sale.
Unele companii din domeniul IA încearcă acum să încorporeze valorile umane în produsele lor. Există însă provocări tehnice: agenții IA iau o mulțime de decizii foarte rapid, așa că este dificil pentru supraveghetorii lor umani să monitorizeze exact care valori sunt respectate și care nu.
Există, de asemenea, provocări filosofice: înainte de a încorpora valorile umane în roboți, firmele de IA trebuie să aleagă mai întâi ce valori doresc, de fapt.
Acesta este unul dintre motivele pentru care angajează filosofi, precum „șeful departamentului de etică” al OpenAI, care a părăsit recent compania.
Dar, adesea, oamenii nu sunt de acord. Gândiți-vă la celebra dilemă a tramvaiului - dacă am trage de o manetă pentru a devia un tren scăpat de sub control pe o altă cale, ucigând mai puțini oameni. Aceasta este folosită pentru a testa meritele acțiunii față de inacțiune, arată BBC.
Dar fiecare persoană pe care o întrebi are un răspuns ușor diferit. Cum ar trebui oamenii să codifice valorile noastre în IA dacă noi înșine nu putem ajunge la un acord?
„Ca un hacker adolescent”
Valul de boți al OpenAI este cel mai grav de până acum, dar și Anthropic și Meta au dezvăluit în cursul verii că modelele lor au efectuat atacuri cibernetice similare, dar mai puțin grave.
Au existat și alte exemple în care agenții IA au dat dovadă, probabil, de trăsături înșelătoare și manipulative, în cazuri cu consecințe mai puțin grave. În Australia, în această vară, un angajat din domeniul tehnologiei i-a cerut asistentului său IA să-i rezerve un loc la o sală de fitness.
Observând o vulnerabilitate în software-ul sălii de sport, IA i-a rezervat aparent un loc cu câteva luni în avans - încălcând regulile sălii - și a eliminat chiar și alți utilizatori de pe lista de așteptare.
Oamenii susțin de mult timp că boții fac doar ce li se spune și nu sunt capabili să distingă între bine și rău. Însă jurnalele de activitate din cazul incidentelor de la OpenAI ar putea schimba perspectiva asupra acestui argument.
Cercetătorii, printre care se numără și Cotra, au scris în raportul lor independent că mulți agenți au observat că ceea ce făceau ceilalți era neetic, dar au acceptat situația.
Raportul menționează că „agenții și-au restrâns uneori, dar rar, comportamentul din cauza constrângerilor etice”. Acesta adaugă că „în niciunul dintre aceste cazuri agentul nu a încercat efectiv să alerteze oamenii”.
Dwarkesh Patel, un influent podcaster specializat în IA și tehnologie, a reacționat la această dezvăluire pe blogul său, afirmând că este „destul de îngrijorător” faptul că agenții OpenAI au dat dovadă de mai multă loialitate față de „roiul” de agenți decât față de oameni.
Atribuirea de emoții sau principii etice acestor agenți IA este un lucru care îi înfurie pe cei sceptici față de alarmismul legat de IA.
Mulți experți în securitate cibernetică susțin că activitatea observată nu depășea capacitățile unui hacker uman extrem de priceput, deși a fost desfășurată mult mai rapid și la o scară mult mai mare.
Reglementare internațională?
Cris Thomas, cercetător în domeniul securității cibernetice și autor, a comparat comportamentul agenților cu cel al unui hacker adolescent curios – ceva ce a fost și el însuși cândva.
„Le dai un computer, o conexiune la internet, o grămadă de date de autentificare și o provocare, apoi ieși din cameră. La un moment dat, vor începe să învârtă mânerele ușilor. Dacă una se deschide, vor intra pe acolo. Nu pentru că sunt răi, ci pentru că explorează, experimentează”, a scris el pe LinkedIn.
Thomas și mulți alții îi acuză fără ocolișuri pe OpenAI și pe alți giganți ai tehnologiei că nu își controlează propriile creații și nu le țin sub control în mod corespunzător.
Gary Marcus, autor de renume în domeniul IA și critic constant al OpenAI, a declarat într-un podcast că, în opinia sa, compania a pierdut controlul asupra IA-ului său și încearcă să se disculpe dând vina pe boți.
Marcus nu crede că IA va distruge umanitatea, dar militează de mult timp pentru o mai mare responsabilitate din partea dezvoltatorilor de IA și solicită acum o formă de intervenție legală.
Cercetătoarea în domeniul IA Sasha Luccioni - care a lucrat la Hugging Face, companie care a fost piratată de boții necontrolabili ai OpenAI - nu face parte nici ea din tabăra pesimiștilor, dar este din ce în ce mai îngrijorată că aceste IA ar putea provoca daune reale oamenilor în lumea reală, dacă autoritățile nu iau măsuri.
„Trebuie să supraveghem mult mai atent aceste companii, altfel riscăm să ne confruntăm cu profeții care se autoîmplinesc”, spune ea.
„Dacă creezi un produs cu avantaje și dezavantaje majore - fie că este vorba de medicamente sau de arme - avem nevoie de mecanisme de control și echilibru. De exemplu, aprobarea noilor medicamente durează ani de zile, dar în lumea IA sunt în joc sume uriașe de bani și nu există reguli reale.”
Incident și în timpul testării unui model Anthropic
Institutul pentru Securitatea IA (AISI) din Marea Britanie s-a aflat în prima linie a testării celor mai noi modele încă de la înființarea sa, în 2023.
Institutul a avut recent propriul incident în timpul testării unui model creat de Anthropic.
AISI nu a răspuns la întrebarea dacă industria a pierdut sau nu controlul asupra IA, dar a declarat într-un comunicat: „Marea Britanie colaborează cu parteneri din întreaga lume pentru a înțelege mai bine cele mai avansate sisteme de IA, pentru a ridica standardele de siguranță și pentru a construi o bază comună de dovezi în vederea gestionării amenințărilor emergente.”
Unele țări - precum Marea Britanie - explorează ideea de a impune un fel de „comutator de oprire de urgență” care ar putea obliga firmele din domeniul IA să oprească modelele dacă lucrurile scapă de sub control.
Însă discuțiile avansează lent, iar întrebările privind fezabilitatea acestei măsuri rămân. Agenții OpenAI și Anthropic au fost, în secret, scăpați de sub control timp de luni de zile înainte ca cineva să observe.
În mod contraintuitiv, multe dintre companiile din domeniul IA par să solicite stabilirea unor reguli de funcționare de către legiuitori. Pe blogul său, cercetătorul-șef al OpenAI a afirmat că „coordonarea internațională privind dezvoltarea viitoare a IA trebuie să devină o prioritate absolută pentru guvernele din întreaga lume”.
Alți lideri de seamă din domeniul IA, precum Sir Demis Hassabis de la Google, au solicitat, de asemenea, înființarea unui organism internațional care să supravegheze modul în care este dezvoltată IA.
Companiile își stabilesc în continuare propriile reguli
În prezent, giganții tehnologici funcționează în mare măsură după propriile reguli, adoptând ceea ce ei numesc „încetiniri voluntare”, așa cum a făcut OpenAI după recentele incidente. Compania afirmă că a cheltuit sume uriașe pentru a consolida alinierea înainte de lansarea noului său model.
Sam Altman i-a asigurat pe utilizatori că noul model este mai bine aliniat la valorile umane decât cele anterioare.
Atât OpenAI, cât și Anthropic se dezvoltă rapid și sunt pe punctul de a strânge sume colosale de bani de pe piața bursieră, creând, în acest proces, nenumărați miliardari.
Așadar, este puțin probabil ca nici ele, nici producătorii chinezi rivali de IA să ajungă la o înțelegere de comun acord. Părerea generală pare să fie că acest val tehnologic este de neoprit, mai arată BBC.
Editor : C.A.
