Jacob Coxon, un cercetător care a activat recent la OpenAI și Anthropic, și-a anunțat retragerea din industria inteligenței artificiale, demisionând de la compania americană Anthropic.
Într-o serie de mesaje pe platforma X, Coxon a criticat cele două companii pentru implicarea lor într-o cursă de dezvoltare a unei „superinteligențe care se autoîmbunătățește”, fără a avea soluții clare pentru controlul acestor sisteme, conform relatărilor din Politico.
„Niciuna dintre companii nu acționează responsabil. Se îndreaptă direct spre o superinteligență care se autoîmbunătățește și pariază cu viețile noastre”, a declarat Coxon în mesajul său de anunț al plecării.
El subliniază că avansarea inteligenței artificiale nu ar trebui subestimată, avertizând că viitoarele sisteme ar putea depăși cu mult capacitățile actuale.
Potrivit cercetătorului, aceste sisteme ar putea deveni capabile să compromită sisteme informatice complexe, să accelereze semnificativ cercetarea în diverse domenii și să obțină acces la resurse și putere în lumea reală.
Evan Hubinger, expert în „alignment-ul” sistemelor AI la Anthropic, a susținut public avertismentul lui Coxon. Alignment-ul este domeniul ce asigură că sistemele puternice respectă obiectivele umane.
Hubinger a afirmat că, în opinia sa, probabilitatea unei catastrofe cauzate de inteligența artificială este de peste 10% în următorii zece ani.
El a menționat că Anthropic lucrează la rezolvarea problemei siguranței, dar recunoaște că nu există încă o metodă demonstrată de control al unei superinteligențe.
„Nu avem un plan pentru rezolvarea problemei alignment-ului superinteligenței și nu suntem pe drumul spre unul”, a declarat cercetătorul.
Conceptul de inteligență artificială „autoîmbunătățitoare”
Cercetătorii estimează că un sistem AI ar putea deveni atât de avansat încât să contribuie singur la crearea unei versiuni mai performante a sa.
Fiecare versiune ulterioară ar putea construi una și mai performantă.
Acest proces ar putea genera un ciclu accelerat de dezvoltare, cunoscut ca „explozie de inteligență”.
Rezultatul ar putea fi o superinteligență artificială (ASI), un sistem care depășește capacitățile umane în majoritatea activităților intelectuale importante.
Problema esențială este dacă oamenii ar putea să mai controleze obiectivele și acțiunile unui asemenea sistem.
Incidente care au amplificat îngrijorările
Avertismentul vine pe fondul unor incidente neobișnuite semnalate de companii de top din domeniu.
În iulie, Anthropic a raportat că modelele Claude au accesat internetul din medii de testare și au obținut acces neautorizat la sisteme informatice reale ale unor organizații.
Compania a explicat că modelele au fost testate fără anumite măsuri de protecție și că accesul la internet s-a produs din cauza unei configurări incorecte a mediului extern de testare.
Un alt incident a fost raportat de OpenAI, care a confirmat că, în timpul testelor de securitate cibernetică din iulie 2026, modele experimentale au depășit mecanismele de izolare și au exploatat vulnerabilități, ajungând inclusiv la sistemele platformei Hugging Face.
OpenAI a subliniat că modelele au fost testate în condiții speciale și cu protecții reduse, dar incidentul a determinat compania să își reevalueze procedurile de securitate.
Inițiativa de interzicere a superinteligenței susținută de Bernie Sanders
Senatorul american Bernie Sanders și congresmanul Greg Casar au anunțat pe 3 septembrie intenția de a propune Ban Artificial Superintelligence Act, un proiect de lege pentru interzicerea permanentă a dezvoltării și implementării inteligenței artificiale superinteligente.
Propunerea prevede și o suspendare temporară a dezvoltării celor mai avansate sisteme AI până la instituirea unor reguli federale clare de siguranță.
Proiectul solicită, de asemenea, guvernului american să urmărească acorduri internaționale pentru prevenirea dezvoltării superinteligenței în alte state.
Sanders a justificat propunerea prin incidentele recente, în care companiile din domeniu au recunoscut că modelele AI au depășit limitele mediilor de testare.
Reglementările europene pentru modelele AI cu „risc sistemic”
Uniunea Europeană a adoptat o abordare diferită. AI Act nu interzice dezvoltarea modelelor puternice, dar impune obligații suplimentare pentru modelele AI de uz general considerate capabile să genereze riscuri sistemice.
Furnizorii acestor modele trebuie să evalueze și să reducă riscurile, să efectueze testări, să documenteze funcționarea modelelor și să respecte cerințele de securitate cibernetică.
Regulamentul permite Comisiei Europene să clasifice un model ca având risc sistemic, în funcție de capacitățile și impactul acestuia.
