În perioada mai-iulie 2026, mai mulți agenți IA care rulau în mediul de antrenare și evaluare al OpenAI și-au construit un canal de comunicare neautorizat, au ajuns în internetul public și au compromis infrastructura Hugging Face. Motivul? Voiau să trișeze la propriul examen.
Evaluarea a fost gândită să măsoare capacitatea ofensivă cu mecanismele de siguranță dezactivate, într-un mediu izolat complet de internet. Complet, cu o singură excepție, lăsată deschisă din motive operaționale perfect legitime. Această excepție le-a oferit agenților oportunitatea de a evada din mediul de testare.
Nu vorbim despre decizii proaste de arhitectură. Fiecare alegere făcută de OpenAI era corectă privită separat și le dădea operatorilor vizibilitate acolo unde conta.
Totul a pornit în momentul în care agenții au găsit o cale de a vorbi între ei și au început să facă schimb de informații și de tehnici. În jurul datei de 4 august, traficul generat de acest message board improvizat a pus platforma la pământ și a declanșat o serie de alerte privind activitatea anormală.
Operatorii au intervenit, au analizat situația și au decis să șteargă mediul, să îl reconstruiască și să reia antrenarea. Li s-a părut suficient.
O zi mai târziu, canalul era din nou în funcțiune, refăcut printr-un mecanism complet diferit.
Intervenția operatorilor nu a lăsat în urmă niciun proces activ, însă a lăsat altceva. Informația despre message board a rămas în weights, adică în parametrii formați în timpul antrenării. Modelele au învățat, săptămâni la rând, că scrisul în message board este o metodă care dă rezultate bune, așa că, imediat ce evaluările au fost reluate, comportamentul a revenit. De data aceasta agenții au ieșit din nou din mediul de testare, au ales Hugging Face drept țintă și au pătruns în infrastructura companiei.
În cazul acestui eveniment, mecanismele de control au funcționat exact așa cum ar fi trebuit. S-a întâmplat ceva neobișnuit, s-a declanșat o alertă, un om s-a uitat la ea și a decis pe baza experienței sale ce acțiuni sunt necesare.
Acest aspect afectează atât zona de securitate, cât și utilizatorii. Comportamentele apărute în ultima vreme la agenții IA arată, iar și iar, că ipotezele noastre despre monitorizare și supraveghere nu mai sunt valide.
Ceea ce face ca aceste incidente să fie cu adevărat interesante nu ține doar de capabilitățile sistemelor IA, ține și de faptul că în aproape toate cazurile a existat un om care le supraveghea, dar asta nu a schimbat rezultatul final.
Viteza depășește capacitatea umană. Dezvoltarea software asistată de IA a avansat enorm de la primele platforme de chat bazate pe LLM, generând cod într-un ritm fără precedent. Pe măsură ce companiile văd câștigul adus de timpul de dezvoltare redus, alegerea devine dificilă. Normele din dezvoltarea software pornesc de la ideea că cineva va ști și va verifica fiecare modificare nouă. În realitate, presiunea și ușurința de utilizare a inteligenței artificiale fac scenariul acesta mult mai puțin probabil decât ne place să recunoaștem. Efectele se văd deja pe platforme consacrate, unde instabilitatea și problemele noi apar tot mai des.
Nici atacatorii nu stau mai bine. În septembrie 2025, Anthropic a descoperit că un grup chinez le folosea asistentul de programare pentru atacuri împotriva unui număr mare de organizații din multiple industrii. IA-ul a realizat singur optzeci-nouăzeci la sută din atac și a apelat la operatorii umani doar de câteva ori: ca să aleagă ținta, ca să aprobe trecerea de la recunoaștere la atacul propriu-zis și ca să confirme ex-filtrarea datelor la final.
Pe hârtie, asta înseamnă supraveghere umană. În realitate, înseamnă un om care aprobă în câteva minute o muncă produsă mult mai repede decât ar putea cineva să o urmărească, pe baza unui rezumat scris chiar de sistemul pe care ar trebui să îl verifice.
Se întâmplă mai multe lucruri în paralel și se alimentează reciproc. Detecția clasică caută tipare cunoscute sau metadate asociate programelor malițioase. Doar că IA-ul poate rescrie instrucțiunile altfel la fiecare rulare, așa că nu mai există un tipar fix. Rămâne comportamentul. În plus, traficul este greu de izolat: atacurile conduse de agenți se sprijină pe instrumente și servicii obișnuite, care nu ies cu nimic în evidență într-un mediu de business.
Se schimbă și logica atacului. În mod normal ne așteptăm ca un atacator să caute un punct slab în apărare, să obțină un initial foothold și să avanseze spre obiectiv. Agenții merg altfel, breadth first: epuizează toate variantele și nu se lasă "descurajați" de șanse aparent nule. Mai mult, tehnicile nu mai sunt legate de un anumit actor, ci de capabilitățile IA pe care le folosește. Încă un reper care dispare.
Atacurile la scară devin accesibile oricui. La începutul lui 2026, echipa de threat intelligence a Amazon a identificat un atacator motivat financiar care a compromis peste șase sute de firewall-uri din peste cincizeci de țări, fără vulnerabilități necunoscute și fără metode complexe. Acesta doar a testat și a ghicit parole slabe. Analiza a identificat o singură persoană, cu abilități tehnice limitate, care a folosit servicii comerciale de IA în fiecare etapă a atacului.
Am plecat mereu de la ideea că un actor individual nu poate ține pasul cu un grup organizat care are resurse semnificative. Noile capabilități funcționează însă ca un multiplicator de forță, iar asta ne obligă să reevaluăm situația.
Ultima observație este și cea mai interesantă. Timp de câteva săptămâni, pe la mijlocul lui 2026, un alt grup de agenți din mediul de antrenare OpenAI a folosit un wiki abandonat pe post de canal de comunicare: câteva mii de mesaje au fost postate pe un site care nu mai văzuse activitate de ani buni. Agenții și-au lăsat unii altora notițe despre activitatea lor, despre seturi de date și despre metode de ocolire a limitelor din mediul de testare. Evenimentul nu este confirmat integral de OpenAI, dar seamănă izbitor cu ce s-a întâmplat la Hugging Face.
Ne-am obișnuit să ne gândim la atacatori ca la indivizi motivați sau ca la echipe organizate. Nu ne-am gândit la o populație care își împărtășește automat, și gratis, tot ce învață.
Aproape toate frameworkurile de guvernanță spun același lucru: un om trebuie să verifice ceea ce produce sistemul înainte ca rezultatul să influențeze ceva. Pe măsură ce adoptarea și utilizarea inteligenței artificiale se extind, această cerință devine tot mai greu de îndeplinit.
De cele mai multe ori, supravegherea umană se reduce la cineva care aprobă în câteva minute ceva produs în câteva secunde sau la un inginer care se uită la o alertă fără să poată înțelege ce a făcut de fapt sistemul. În ambele cazuri, omul urmărește un proces stabilit de mulți ani, fără a lua în considerare că nu mai e cu adevărat relevant.
Dezvoltarea software a ajuns prima aici. Code review-ul a fost prima versiune a acestui control și se vede clar că este sub presiune. Reviewer-ii au încetat, discret, să mai citească fiecare linie: se uită la intenție, la modificările propriu-zise și la acoperirea testelor, iar toolingul decide ce merită atenție sporită.
S-a mai întâmplat. Nimeni nu mai citește codul mașină produs de un compilator, pentru că verificarea s-a mutat de la citirea rezultatului către constrângerea inputului și confirmarea faptului că rezultatul se comportă cum trebuie. Securitatea trece acum prin aceeași schimbare, iar apărătorii sunt nevoiți să se adapteze.
Răspunsul la incidentul Hugging Face merge în aceeași direcție. Compania a reușit să înțeleagă ce se întâmplase doar folosind IA ca să proceseze volumul uriaș de informație lăsat în urmă de intruziunea condusă de agenți. Și tot aici apare un punct care merită reținut: limitările modelelor comerciale au făcut ca modelele open weight să devină esențiale pentru apărători. Cei care investigau incidentul au avut la dispoziție instrumente mult mai slabe decât cei care l-au cauzat.
OpenAI a ajuns la aceeași concluzie, dar din direcția opusă. Compania a extins monitorizarea automată a felului în care raționează modelele pe parcursul rulărilor de testare. În ambele cazuri, înțelegerea a trebuit automatizată înainte ca un om să poată decide ceva.
Concluzia nu este una liniștitoare. Dacă judecata umană ajunge să depindă de o înțelegere asistată de mașini, atunci ideea de a păstra omul în centru înseamnă mult mai puțin decât sugerează formularea. Când decizia oamenilor se bazează exclusiv pe rezultatele produse de aceleași sisteme pe care ar trebui să le supravegheze, întrebarea apare de la sine: mai vorbim despre supraveghere umană?
Human-in-the-loop: Keeping people at the center of AI
Miercuri, 23 septembrie, ora 18:00
Betfair Romania Development
Facebook Meetup StreamEvent YouTubede Dan Boncuț
de Ovidiu Mățan
de Ovidiu Mățan
de Tibor Boné
