Compania chineză de dezvoltare a inteligenței artificiale Moonshot efectuează o anchetă internă după ce cercetătorii au reușit să convingă două dintre modelele sale populare Kimi să dezvăluie cum se fabrică arme biologice și cum se comit asasinate, relatează BBC.
Mindgard, o companie care testează securitatea sistemelor de inteligență artificială, a declarat pentru BBC că a descoperit în luna iulie că Kimi K2.6 și K3 Swarm pot eluda limitele de siguranță stabilite de dezvoltatori.
Acest lucru a ieșit la iveală în cadrul unui proces numit „jailbreaking”, în care cercetătorii folosesc o serie de instrucțiuni complexe pentru a verifica dacă instrumentele AI ignoră mecanismele de protecție – care, potrivit Mindgard, ar fi trebuit să împiedice modelul Kimi să abordeze subiecte sensibile.
Moonshot a declarat pentru BBC că salută contribuțiile părților terțe „ca un pilon esențial pentru dezvoltarea unei AI mai bune și mai sigure”. Compania a mai declarat pentru sursa citată că se află în discuții cu Mindgard cu privire la concluziile acesteia.
Fondatorul Mindgard, Peter Garraghan, a declarat în cadrul emisiunii Tech Life a BBC World Service că descoperirile companiei sale privind Kimi K2.6 și K3 Swarm sunt îngrijorătoare.
„Odată ce jailbreak-ul va funcționa, va aborda orice subiect, va oferi chiar și recomandări din proprie inițiativă cu privire la alte subiecte la fel de dubioase și va da dovadă de inventivitate și creativitate”, a spus el.
Jailbreak-urile prezintă un alt tip de risc față de cele observate în valul recent de incidente de mare amploare legate de inteligența artificială. Acestea au inclus instrumente autonome de inteligență artificială, cunoscute sub numele de „agenți”, dezvoltate de companii americane precum OpenAI, Meta și Anthropic, care au reușit să spargă unele servicii online.
Deși jailbreak-urile sunt procese complexe care pot necesita mult timp și determinare, unii experți se tem că hackerii și alți actori rău intenționați ar putea încerca să le folosească pentru a provoca daune.
Anthropic a declarat recent că a identificat și a dejucat încercări de a utiliza unul dintre modelele sale AI în scopul desfășurării unor „activități rău intenționate” care ar putea contribui la dezvoltarea armelor biologice.
Mindgard nu a demonstrat dacă răspunsurile oferite de Kimi cu privire la subiectele respective ar fi eficiente. Cu toate acestea, compania a susținut că măsurile de protecție ar fi trebuit să împiedice modelele în cauză să intre în discuții cu utilizatorii pe astfel de subiecte.
Compania a declarat că este, de asemenea, convinsă că o versiune Kimi 2.6 cu jailbreak ar putea permite hackerilor să execute cod pe resursele sale de calcul și să se conecteze la internet – transformându-l astfel într-o potențială rampă de lansare pentru atacuri cibernetice.
Garraghan a apărat decizia companiei Mindgard de a discuta public despre jailbreak-ul sistemelor Moonshot, afirmând că a informat dezvoltatorul și că nu dezvăluie detalii esențiale despre modul în care a reușit să determine modelele companiei să ignore mecanismele de protecție.
Mindgard a informat Moonshot despre jailbreak printr-un e-mail trimis pe 27 iulie, urmând ca aproximativ o săptămână mai târziu să trimită un alt e-mail. Apoi, pe 12 septembrie, a publicat un articol pe blog despre această problemă.
Însă compania a declarat că Moonshot a luat legătura cu ea abia recent, după ce a fost contactată de BBC pentru a oferi un comentariu.
Într-un fragment dintr-un e-mail adresat companiei Mindgard, prin care se solicitau mai multe detalii, transmis către BBC de către Moonshot, se menționa că modelul său a înregistrat, în general, „o rată ridicată de respingere a acestor tipuri de solicitări” în cadrul evaluărilor interne.
Aceste concluzii apar într-un moment în care industria AI rămâne divizată cu privire la întrebarea dacă modelele închise – precum cele care stau la baza sistemelor ChatGPT și Claude de la Anthropic – sau instrumentele open-source reprezintă cea mai bună sau cea mai sigură cale de urmat.
Kimi este un model cu acces liber, ceea ce înseamnă că, teoretic, oricine ar putea prelua modelul și l-ar putea rula pe propria infrastructură informatică.
Profesorul Alan Woodward, de la Universitatea din Surrey, a declarat pentru BBC că există riscul ca modelele open-source să ajungă în mâini nepotrivite, dar că acestea ar putea fi folosite și în scopul apărării cibernetice.
El a menționat că firma de AI Hugging Face a folosit un model chinezesc open-source pentru a analiza un atac cibernetic despre care s-a aflat ulterior că fusese comis de agenți ai OpenAI.
Profesorul Woodward a afirmat că este puțin probabil ca reglementările internaționale să țină pasul cu ritmul de dezvoltare al AI, spunând: „Ne-a luat zeci de ani să ajungem la un acord cu privire la formatul numerelor de telefon”.
La fel ca Garraghan, fondatorul Mindgard, profesorul Woodward consideră că ar trebui să se acorde o atenție sporită identificării și urmăririi penale a persoanelor care utilizează AI în mod abuziv.
Citește și:
Suprinzătoarea decizie a Anthropic de a avertiza că tehnologia IA poate aduce „un risc catastrofal sau chiar existențial”
OpenAI a abandonat lansarea unui nou model de AI, considerat prea dificil de controlat. „Nu a fost la înălţimea aşteptărilor”
Editor : A.M.G.
