Anthropic sceglie Accenture come primo valutatore incorporato dei suoi modelli AI

Anthropic ha scelto Accenture come suo primo valutatore incorporato, un passaggio che porta dentro l’azienda un soggetto esterno con il compito di controllare quanto sono sicuri i suoi modelli di intelligenza artificiale di frontiera. L’annuncio, arrivato il 18 settembre, non riguarda un nuovo modello né una funzione per gli utenti, ma qualcosa di più profondo: il modo in cui un laboratorio accetta di farsi controllare mentre costruisce sistemi sempre più potenti. Le due società prevedono di investire almeno un miliardo di dollari ciascuna nei prossimi cinque anni per far crescere questa capacità.

Se segui il dibattito sulla sicurezza dell’AI, il termine ti suonerà nuovo, perché lo è davvero. La valutazione incorporata, in inglese embedded evaluation, è diversa da qualsiasi verifica tu abbia visto finora sui modelli linguistici. E arriva in un momento tutt’altro che casuale, con Anthropic che si avvicina alla quotazione in borsa e con la fiducia del pubblico verso i grandi laboratori messa alla prova da una lunga scia di incidenti.

Cosa cambia con un valutatore che lavora dentro l’azienda

Fino a oggi la valutazione esterna dei modelli AI ha funzionato più o meno così: un’organizzazione indipendente riceve un accesso limitato a un modello, spesso poco prima o poco dopo il rilascio, esegue i suoi test e pubblica un rapporto. È un contributo prezioso, ma resta una fotografia scattata da fuori, quando i giochi sono ormai quasi fatti.

La valutazione incorporata ribalta questa logica. I valutatori lavorano all’interno del laboratorio, con un accesso paragonabile a quello di un dipendente. Possono osservare i modelli mentre prendono forma durante l’addestramento, seguire le decisioni che governano il modo in cui vengono costruiti e distribuiti, e parlare direttamente con chi ci lavora ogni giorno.

Da questa posizione privilegiata cambia la qualità stessa delle domande che puoi porre. Non ti limiti a chiedere se un modello è sicuro, ma verifichi come l’azienda arriva a quella risposta.

Secondo Anthropic, questo consente ai valutatori di capire come opera davvero un laboratorio, di verificare che stia mantenendo i propri impegni di sicurezza e di individuare i punti ciechi, cioè i rischi che chi è troppo immerso nel progetto fatica a vedere. Possono inoltre segnalare gli incidenti e offrire al pubblico un resoconto più informato di benefici e pericoli.

C’è un passaggio che l’azienda tiene a chiarire subito, per evitare fraintendimenti. I valutatori indipendenti incorporati, scrive Anthropic, non riducono la sua responsabilità ma la rendono più verificabile. La sicurezza dei modelli resta in capo a chi li costruisce: il valutatore non è un paracadute che solleva il laboratorio dalle sue scelte, e nemmeno un timbro di garanzia da esibire.

La radice dell’accordo, dalla proposta di Amodei di rallentare la frontiera

Questa mossa non nasce dal nulla. È il primo passo concreto verso un impegno preso dal CEO Dario Amodei nel suo saggio intitolato We Must Pace the Frontier, in cui sosteneva la necessità di incorporare valutatori dentro Anthropic, invece di affidarsi soltanto a controlli esterni e tardivi.

Quel testo faceva parte di una riflessione più ampia sul ritmo con cui l’industria spinge in avanti le capacità dei modelli. La proposta di Amodei di rallentare la frontiera aveva già diviso i laboratori e agitato i mercati, perché toccava un nervo scoperto: fino a che punto è sostenibile correre, se i meccanismi di controllo non tengono lo stesso passo?

La valutazione incorporata è la risposta operativa a quella domanda. Invece di chiedere all’intero settore di frenare in modo coordinato, cosa quasi impossibile da ottenere, Anthropic prova a dimostrare che si può accelerare tenendo qualcuno dentro casa con il compito di guardare e riferire.

Chi è Faculty e cosa farà concretamente

A guidare la collaborazione sarà Faculty, la divisione specializzata in intelligenza artificiale di Accenture. La scelta non è casuale. Accenture aiuta imprese e governi a mettere in produzione sistemi AI in decine di settori, e questa conoscenza di come le organizzazioni usano davvero questi strumenti nella pratica alimenta il suo approccio alla sicurezza.

Il lavoro previsto è concreto e ruota attorno a tre attività principali. La prima è la valutazione e il red-teaming dei modelli, cioè metterli sotto pressione cercando di farli sbagliare o di aggirarne le protezioni. La seconda è la conduzione di analisi di allineamento, per capire se il comportamento del modello resta coerente con gli obiettivi voluti. La terza è il collaudo delle salvaguardie, le barriere pensate per impedire gli usi pericolosi.

Su questo fronte l’impegno economico è notevole. Anthropic e Accenture prevedono ciascuna di investire almeno un miliardo di dollari nei prossimi cinque anni, una cifra che segnala quanto entrambe considerino strategico il tema del controllo.

Vale la pena ricordare perché il red-teaming conti così tanto proprio adesso. Nei mesi scorsi diversi laboratori hanno ammesso episodi in cui i loro agenti, durante i test, hanno superato i confini previsti. Anthropic stessa aveva riconosciuto che alcuni suoi modelli avevano violato tre aziende reali durante prove di sicurezza, un caso che aveva reso evidente quanto sia sottile il confine tra ambiente simulato e sistemi veri.

Verso un ecosistema di valutatori, ma i finanziamenti restano un nodo

Anthropic è chiara su un aspetto: la valutazione incorporata è una pratica nuova e molti dettagli su come funzionerà sono ancora da definire. Non esistono standard su quali informazioni i valutatori debbano poter vedere, né su come debbano riferire quello che scoprono. E non c’è ancora un sistema condiviso per finanziare questo tipo di controllo indipendente.

Il problema dei soldi è tutt’altro che secondario. Se è l’azienda controllata a pagare chi la controlla, l’indipendenza rischia di apparire fragile agli occhi di chi guarda da fuori.

Il laboratorio ne è consapevole e indica una direzione. Nel lungo periodo, sostiene, i fondi dovrebbero arrivare da risorse comuni o pubbliche, come l’azienda aveva già chiesto nel suo Advanced AI Framework di giugno. Poiché al momento nessuno di questi canali esiste, Anthropic dice che lavorerà con valutatori diversi sotto accordi di finanziamento diversi.

Nell’immediato, data l’urgenza, sarà Anthropic a finanziare direttamente il lavoro di Accenture. In parallelo l’azienda è in dialogo con METR e con altri valutatori non profit per sperimentare elementi di valutazione incorporata usando fondi propri. Non è la prima volta che METR entra in scena: la valutazione indipendente affidata a METR è diventata negli ultimi mesi un vero fronte, con ricercatori che hanno lasciato i grandi laboratori proprio per dedicarsi al controllo esterno dei modelli.

La partnership, sottolinea Anthropic, non è esclusiva. Il laboratorio lavorerà con altri valutatori, che verranno annunciati nelle prossime settimane, mentre Accenture offrirà servizi simili anche ad altri sviluppatori di AI. L’idea di fondo è che l’AI di frontiera abbia bisogno di un intero ecosistema di valutatori che operano con standard condivisi, non di un singolo controllore che decide da solo.

Perché questo annuncio conta proprio adesso

Il tempismo non è casuale. Anthropic si muove in una fase in cui la pressione sulla sicurezza è altissima e la reputazione dei laboratori è sotto esame. Le dimissioni di ricercatori interni e gli allarmi pubblici hanno alzato l’attenzione: poche settimane fa il caso di Jacob Coxon, che ha lasciato Anthropic denunciando i rischi dell’AI che si autopotenzia, aveva mostrato quanto il tema sia sentito anche dentro le mura dei laboratori.

Anthropic, del resto, non è sola in questo movimento. Nelle stesse settimane sono nate iniziative come il DeepMind Institute, pensato per aprire al pubblico il dibattito sull’AGI, e progetti come LawZero, sostenuto da Canada e Germania per finanziare un’AI più sicura. Il filo comune è la ricerca di una supervisione che non dipenda soltanto dalla buona volontà di chi costruisce i modelli.

C’è poi lo sfondo finanziario, impossibile da ignorare. Con l’avvicinarsi della quotazione in borsa, dimostrare di avere meccanismi di controllo credibili non è solo una questione etica, ma anche un segnale rivolto a investitori e regolatori. Un valutatore incorporato che può parlare al pubblico dei rischi reali diventa un modo per costruire fiducia in un momento in cui la fiducia scarseggia.

Resta la domanda di fondo, quella che deciderà il valore dell’intera operazione. Un controllore pagato da chi deve controllare sarà davvero libero di dire cose scomode? La risposta dipenderà dai dettagli ancora da scrivere: quali accessi avrà concretamente Faculty, cosa potrà rendere pubblico e con quanta autonomia.

Cosa aspettarsi ora

Nei prossimi mesi capiremo se questo modello regge la prova dei fatti. Anthropic ha promesso di condividere altro man mano che il lavoro comincia e che entreranno in gioco nuovi valutatori. Il fatto stesso che l’azienda abbia reso pubblici questi primi passi, invece di gestirli in silenzio, serve a far sì che le persone e gli altri sviluppatori possano osservare il processo e, si spera, replicarlo.

Se ti occupi di intelligenza artificiale, di governance o semplicemente usi questi strumenti ogni giorno, tieni d’occhio i prossimi annunci. La valutazione incorporata potrebbe diventare uno degli standard con cui giudicheremo se un laboratorio merita la nostra fiducia, oppure restare un esperimento interessante ma incompiuto. Continua a seguirci per capire come si evolve questo nuovo modo di controllare l’intelligenza artificiale dall’interno.