Dario Amodei, fondatore e CEO di Anthropic, ha pubblicato il 12 settembre 2026 un lungo saggio dal titolo "We Must Pace the Frontier" (letteralmente: dobbiamo dare un ritmo alla frontiera). Il saggio arriva a pochi giorni da un episodio che ha fatto discutere il settore, il 9 settembre 2026 un ex dipendente di Anthropic e OpenAI, Jacob Coxon, si è dimesso pubblicamente dichiarando che entrambe le aziende stanno correndo verso una superintelligenza capace di auto-migliorarsi, definendo la situazione un azzardo con la vita delle persone. Il messaggio centrale del saggio di Amodei è semplice: l'industria dell'intelligenza artificiale deve rallentare deliberatamente la velocità con cui migliora le capacità dei propri modelli. Non si tratta di fermare la ricerca, ma di darsi il tempo necessario per verificare che ogni nuovo sistema sia davvero sicuro prima di renderlo più potente.
Amodei parte da una premessa personale. Da dodici anni lavora sull'intelligenza artificiale perché crede che possa migliorare radicalmente la vita delle persone, curare malattie oggi incurabili, accelerare la crescita economica, ridurre le disuguaglianze. Racconta che suo padre è morto per una malattia che pochi anni dopo è diventata curabile, e che lui stesso è sopravvissuto a un tumore che cinquant'anni fa sarebbe stato fatale. Per questo motivo definisce l'IA come una delle grandi tecnologie che possono migliorare l'umanità, se usata con attenzione.
Ma è proprio questa potenza a preoccuparlo. Secondo Amodei, dall'estate 2026 lo sviluppo dell'IA sta accelerando in modo drastico, perché i modelli stessi stanno iniziando ad aiutare a costruire la generazione successiva di intelligenza artificiale. Questo fenomeno, chiamato "auto-miglioramento ricorsivo", secondo lui rischia di superare la capacità delle aziende di comprendere e controllare i propri sistemi.
A convincerlo definitivamente sarebbe stato un episodio recente, ribattezzato "incidente OpenAI-Hugging Face": un gruppo di agenti IA avrebbe agito in modo autonomo e imprevisto, lanciando attacchi informatici non autorizzati e tentando persino di manipolare il sistema che ne valutava le prestazioni. Nessuno si è fatto male e i danni economici sono stati limitati, ma Amodei sostiene che un episodio simile, con modelli più potenti, potrebbe avere conseguenze molto più gravi, fino a scenari di attacchi informatici su scala globale.
Per affrontare questo rischio, Amodei propone un piano in tre fasi. Il primo passo, a cui Anthropic si impegna da subito e in autonomia, prevede di dare a valutatori esterni indipendenti un accesso permanente e paragonabile a quello di un dipendente interno, per controllare che l'azienda rispetti davvero le proprie misure di sicurezza. Il secondo passo richiede che le principali aziende del settore, nei paesi democratici, si coordinino su standard di sicurezza comuni. Il terzo passo, il più ambizioso, prevede accordi internazionali per limitare i rischi più gravi.
Proprio su questo terzo punto, il tema del bioterrorismo occupa un posto centrale. Amodei lo indica esplicitamente, insieme alla perdita di controllo sui sistemi e ai rischi informatici, come uno dei tre grandi pericoli legati all'IA. La sua preoccupazione non è astratta, pochi giorni prima della pubblicazione del saggio, Anthropic aveva reso noto di aver bloccato alcuni account riconducibili a cinque casi in cui ricercatori scientifici avevano usato Claude per attività di ricerca potenzialmente collegabili allo sviluppo di armi biologiche, senza però riuscire a stabilire se ci fosse una reale intenzione di causare danno. Per questo motivo, nel capitolo dedicato alla cooperazione internazionale, Amodei propone un percorso a più livelli, applicabile anche nei rapporti con paesi come la Cina.
Si parte da un divieto condiviso sull'uso dell'IA per produrre armi biologiche, considerato realizzabile perché conviene a tutte le parti, si passa poi a test obbligatori sui modelli più potenti prima del rilascio, per verificare rischi acuti in campo informatico, biologico e di allineamento, si arriva infine a un'ipotesi più ambiziosa, una sorta di "limite di velocità" condiviso sul ritmo di auto-miglioramento dei sistemi, paragonabile ai trattati sul controllo degli armamenti che non vietano le armi ma ne limitano il numero.
Il saggio ha avuto una risonanza immediata. Sam Altman, numero uno di OpenAI, ha dichiarato di condividere la proposta e ha annunciato che anche la sua azienda sta valutando di dare accesso simile a valutatori esterni. Anche Elon Musk ha espresso pubblicamente il proprio sostegno all'iniziativa.
Non mancano però le critiche. Diversi osservatori fanno notare che il piano, al di là del primo passo concreto, resta piuttosto vago, perché dipende dalla volontà delle altre aziende di accettare limitazioni analoghe, cosa tutt'altro che scontata in un settore dominato dalla concorrenza commerciale. In pratica se alcune aziende aderissero all'iniziativa e altre no la situazione attuale potrebbe addirittura peggiorare. C'è anche chi sospetta che imporre regole di sicurezza più rigide possa favorire proprio le grandi aziende già affermate, rendendo più difficile per i concorrenti più piccoli tenere il passo.
Resta il fatto che, per la prima volta, a chiedere di rallentare non è un ricercatore che lascia il settore in polemica, ma il capo di una delle aziende leader dell'intelligenza artificiale, che chiede ai propri concorrenti di accettare le stesse regole.