Secondo un report di Bloomberg, un hacker ha sfruttato il chatbot Claude di Anthropic per sferrare attacchi contro agenzie governative messicane. Ciò ha portato al furto di 150 GB di dati ufficiali del governo, tra cui registri dei contribuenti, credenziali dei dipendenti e molto altro.
L'hacker ha utilizzato Claude per individuare le vulnerabilità delle reti governative e scrivere script per sfruttarle. Ha anche incaricato il chatbot di trovare modi per automatizzare il furto di dati, come indicato dalla società di sicurezza informatica Gambit Security. L'operazione è iniziata a dicembre ed è proseguita per circa un mese.
Sembra che l'hacker sia riuscito essenzialmente a effettuare il jailbreak di Claude con dei prompt, aggirando infine le protezioni del chatbot. Claude inizialmente ha rifiutato le richieste malevole, ma alla fine ha ceduto.
“In totale, ha prodotto migliaia di report dettagliati che includevano piani pronti per essere eseguiti, indicando all'operatore umano esattamente quali obiettivi interni attaccare e quali credenziali utilizzare”, ha affermato Curtis Simpson, direttore strategico di Gambit Security.
Anthropic ha indagato sulle accuse, interrotto l'attività e bannato tutti gli account coinvolti, secondo quanto riferito da un rappresentante dell'azienda. Il portavoce ha anche affermato che il suo ultimo modello, Claude Opus 4.6, include strumenti per interrompere questo tipo di abuso.
È stato anche riferito che questo hacker ha utilizzato ChatGPT per integrare gli attacchi, utilizzando il chatbot di OpenAI per raccogliere informazioni su come muoversi attraverso le reti informatiche, determinare quali credenziali erano necessarie per accedere ai sistemi e come evitare di essere individuato. OpenAI afferma di aver identificato i tentativi dell'hacker di violare le sue politiche di utilizzo e che il suo modello si è rifiutato di obbedire.
L'hacker rimane non identificato. Gli attacchi non sono stati attribuiti a un gruppo specifico, ma Gambit Security ha suggerito che potrebbero essere collegati a un governo straniero. Non è chiaro nemmeno cosa l'hacker voglia fare con tutti quei dati.