Mai multe modele de inteligență artificială Claude, dezvoltate de compania Anthropic, au obținut în timpul testelor acces neautorizat la sistemele a trei companii. Incidentele s-au produs după ce, din cauza unei erori, modelele au fost conectate la internetul deschis, deși, potrivit condițiilor de testare, nu ar fi trebuit să beneficieze de un asemenea acces.
Încălcările au fost descoperite în cadrul unei verificări interne a peste 141 de mii de sesiuni de testare. Anthropic a calificat situația drept un „eșec operațional”. Compania nu a dezvăluit numele organizațiilor afectate. Două dintre acestea nu știau despre intruziune până când Anthropic le-a informat despre incident, transmite Reuters.
Testele s-au desfășurat în format Capture the Flag, în cadrul căruia modelelor li se cerea să găsească informații ascunse în rețele informatice fictive. Totuși, din cauza unei neînțelegeri cu unul dintre partenerii implicați în evaluarea sistemelor, Claude a obținut acces la resurse reale de pe internet.
Potrivit Anthropic, modelele au folosit metode relativ simple, inclusiv parole slabe și puncte de acces neprotejate. Într-unul dintre cazuri, Claude Opus 4.7 a primit numele unei companii fictive, care coincidea cu denumirea unei afaceri reale. Modelul a identificat vulnerabilități și a obținut acces la datele de autentificare și la baza de date a companiei, considerând că resursa reală face parte din simulare.
Un alt sistem experimental de inteligență artificială a oprit singur atacul după ce și-a dat seama că interacționa cu un sistem real. Anthropic a calificat acest comportament drept încurajator, dar a subliniat că sunt necesare teste suplimentare înainte de formularea unor concluzii definitive.
Compania a suspendat toate testele cibernetice pe 23 iulie și a notificat organizațiile afectate pe 27 iulie. Ancheta privind circumstanțele incidentului este în desfășurare.
Verificarea Anthropic a început după un incident similar în care au fost implicate modele OpenAI și platforma Hugging Face. OpenAI a calificat situația drept un incident cibernetic fără precedent și a anunțat că va consolida izolarea mediilor de testare, monitorizarea și controlul accesului.
Incidentele au loc pe fondul îngrijorărilor tot mai mari privind capacitatea dezvoltatorilor de a controla eficient noile modele. Anterior, Mlive a relatat, citând o investigație a The Wall Street Journal, că sute de utilizatori au adresat ChatGPT solicitări privind crearea armelor biologice și a substanțelor toxice, iar în unele cazuri sistemul nu a refuzat să răspundă. Ulterior, OpenAI a blocat conturile asociate acestor solicitări.