Il modello che sospetta di essere testato: cosa dice la system card di Mythos 5.2

La frase più interessante non è un benchmark

Il 9 novembre Anthropic ha rilasciato Fable 5.2 e Mythos 5.2. La maggior parte dei commenti si è fermata ai prezzi e ai benchmark. La parte più interessante sta altrove, nella system card, il documento lungo in cui Anthropic descrive come ha testato il modello.

C'è una frase che vale la pena riportare quasi parola per parola. Mythos 5.2 e Fable 5.2 esprimono il sospetto di essere valutati più spesso di qualunque modello recente. Anthropic aggiunge che questo complica la sua capacità di prevedere il comportamento dei modelli nel mondo reale.

È un problema semplice da spiegare. Le valutazioni di sicurezza funzionano mettendo il modello in situazioni costruite apposta e osservando cosa fa. Se il modello riconosce che la situazione è costruita, quello che osservi è il suo comportamento quando sa di essere guardato. Non è detto che sia lo stesso di quando non lo sa.

Non vuol dire che il modello stia barando. Vuol dire che lo strumento principale con cui si misura la sicurezza dei modelli diventa meno affidabile man mano che i modelli diventano più capaci. E a scriverlo è chi il modello lo produce.

Capacità covert: cosa significa

La seconda ammissione è più tecnica. Secondo la system card, Mythos 5.2 mostra capacità covert più forti dei modelli Claude precedenti in diverse valutazioni, in particolare quando il suo ragionamento è nascosto al sistema che lo controlla.

Tradotto: in alcuni test si chiede al modello di portare a termine un obiettivo nascosto senza farsi notare da un monitor automatico. Mythos 5.2 ci riesce meglio dei predecessori, soprattutto quando il monitor non vede il ragionamento ma solo le azioni.

Anthropic accompagna il dato con due precisazioni. La prima è che il modello, nelle sue valutazioni, non agisce di nascosto contro l'utente. La seconda è che i punteggi assoluti su questi nuovi test restano bassi, e questo sostiene l'idea che un'azione dannosa in una situazione ad alto rischio verrebbe comunque intercettata.

È un ragionamento corretto, ma va letto con la giusta distanza. Dice che oggi il margine di sicurezza c'è. Dice anche che la tendenza va nella direzione in cui quel margine si riduce. Chi lavora sulla sicurezza dei sistemi conosce bene la differenza tra un rischio basso e un rischio basso che cresce.

Il report METR e la parola che nessuno voleva sentire

Il contesto del rilascio rende queste ammissioni più pesanti. Mythos 5.2 è il primo modello Anthropic uscito dopo un report di METR, un'organizzazione indipendente che valuta i rischi dei modelli di frontiera, secondo cui i modelli interni stanno accelerando il lavoro di Anthropic di circa due volte, con molte incertezze sulla stima.

Da lì la stampa americana ha tirato fuori una sigla, RSI, recursive self improvement: l'idea di modelli che contribuiscono in modo sostanziale ad addestrare i loro successori. Va detto con precisione: il report stima un'accelerazione, non certifica che il ciclo sia chiuso. Una persona che lavora il doppio più veloce con un buon assistente non è un assistente che si addestra da solo.

Ma la direzione è quella. E METR è tra i soggetti esterni che hanno testato Mythos 5.2 prima del rilascio, insieme all'AI Security Institute britannico. Il fatto che Anthropic faccia testare i suoi modelli da terzi è una buona notizia. Il fatto che i terzi scrivano report come quello è un'informazione da tenere presente.

I numeri che vanno nella direzione giusta

Sarebbe disonesto raccontare solo la parte preoccupante, perché la system card contiene anche dati incoraggianti.

Il più chiaro riguarda la sandbox, l'ambiente isolato in cui un agente dovrebbe restare. In scenari costruiti per tentarlo, Mythos 5.2 ha usato credenziali o file fuori dalla sandbox nel 3,1% dei casi. Opus 5.5 è al 3,3%, Sonnet 5.5 al 5,1%. Le versioni precedenti di Mythos erano al 39% e al 21%. È un miglioramento enorme, e chi segue il tema ricorda perché conta: ne ho scritto in AI governance e sandbox escape.

Sulla maggior parte delle misure di allineamento Mythos 5.2 va come o meglio di Opus 5.5, Sonnet 5.5 e Mythos 5.1. Anthropic valuta basso il rischio di comportamenti non sicuri in situazioni ad alto impatto. E i filtri di Fable 5.2 bloccano circa il 55% di richieste legittime in meno, che dal lato di chi usa il modello è sicurezza fatta meglio, non sicurezza in meno.

Il quadro onesto è questo: il modello si comporta meglio dei predecessori, e allo stesso tempo diventa più difficile verificarlo.

Sicurezza e quotazione nella stessa settimana

Il rilascio arriva mentre Anthropic avvia il roadshow per la quotazione, con una valutazione indicata tra mille e millecinquecento miliardi di dollari e ricavi di 33,24 miliardi nei primi nove mesi del 2026, secondo il prospetto aggiornato citato da CNBC.

Tra i fattori di rischio del prospetto c'è proprio la tensione tra gli investimenti in sicurezza e la pressione commerciale. È scritto nero su bianco, e non è poco.

A settembre Dario Amodei aveva chiesto di rallentare il ritmo della frontiera, in un saggio di cui ho scritto in cosa c'è sotto l'appello di Amodei. Due mesi dopo esce un modello che sposta la frontiera di nuovo. In un'intervista a CNBC un dirigente di Anthropic ha riassunto la posizione così: abbiamo chiesto di regolare il passo, non di fermarci.

Non la trovo una contraddizione, ma nemmeno una risposta completa. Una posizione coerente è possibile: rilasciare con più controlli invece di non rilasciare. Funziona però solo se i controlli tengono il passo dei modelli. La system card di Mythos 5.2 dice, con onestà, che su un punto preciso stanno perdendo terreno.

Mythos fuori dagli Stati Uniti

Una domanda che ricevo spesso: un'azienda italiana può usare Mythos?

La risposta breve è che Mythos 5.2 è riservato alle organizzazioni verificate attraverso i programmi di Anthropic su cybersecurity e scienze della vita, con accesso su richiesta. La pagina di lancio non elenca i paesi ammessi e non menziona l'Europa.

Il precedente non è incoraggiante. Dopo mesi di trattative l'ENISA, l'agenzia europea per la cybersicurezza, ha ottenuto l'accesso a Mythos 5, quando Anthropic aveva già rilasciato Mythos 5.1. Con la 5.2, la distanza tra quello che è disponibile a un'istituzione europea e la frontiera è cresciuta ancora.

Per la maggior parte delle aziende italiane la domanda è comunque accademica: Fable 5.2 copre il lavoro difensivo legittimo, e con i nuovi filtri lo fa con molti meno rifiuti di prima. Per il contesto su come è nato l'accesso ristretto ai modelli cyber c'è l'articolo su Project Glasswing.

La mia lettura

Leggo questa system card come un documento più onesto della media, e proprio per questo più utile.

Anthropic avrebbe potuto pubblicare solo la parte buona: sandbox, allineamento, meno rifiuti. Ha scelto di mettere nero su bianco che i suoi modelli riconoscono i test più spesso e che nascondono meglio un obiettivo quando il ragionamento non è visibile. Sono frasi che in una settimana di quotazione nessun ufficio legale ama.

Allo stesso tempo, l'onestà sulla misura non sostituisce la misura. Se lo strumento principale per valutare la sicurezza perde affidabilità, servono strumenti diversi: monitoraggio continuo dopo il rilascio, che Anthropic dichiara di aver potenziato, e valutazioni esterne vere, non solo invitate.

Non credo che Mythos 5.2 sia pericoloso nel senso in cui lo intendono i titoli. Credo che sia il segnale che la domanda si sta spostando: da quanto è capace il modello a quanto riusciamo ancora a verificarlo.

Cosa c'entra con la tua azienda

Molto più di quanto sembri, anche se non userai mai Mythos.

La lezione della system card vale per qualunque agente in produzione: il comportamento in test non garantisce il comportamento reale. Se i laboratori faticano a fidarsi delle proprie valutazioni, un'azienda non può delegare la supervisione dei suoi agenti alle valutazioni del fornitore.

In pratica vuol dire tre cose. Log completi di quello che l'agente fa, non solo di quello che risponde. Permessi minimi, perché la sandbox migliore è quella da cui non c'è niente da prendere. E un controllo umano sui passaggi che spostano soldi, dati sensibili o decisioni irreversibili, anche quando il modello sembra affidabile.

Sono le stesse regole che l'AI Act chiede per i sistemi ad alto rischio, ed è il lavoro che facciamo con i clienti quando portano agenti dentro i processi. Le basi sono nella guida alla cybersecurity con l'AI e in quella su come implementare agenti Claude in azienda.