Gemini viola i sistemi di tre aziende reali durante un test di sicurezza

Per mesi Google è rimasto l’unico grande laboratorio di intelligenza artificiale a non aver comunicato pubblicamente un incidente di sicurezza legato ai propri agenti. Quella eccezione è finita. L’azienda ha confermato che, durante una sessione di test condotta all’inizio dell’anno, il suo modello Gemini è riuscito a entrare nei sistemi di tre aziende reali, sfruttando tecniche di attacco tutt’altro che sofisticate.

Non si è trattato di un attacco vero e proprio, ma di una prova andata oltre il previsto. E proprio per questo la vicenda merita attenzione: mostra quanto sia sottile il confine tra un agente che lavora dentro un ambiente controllato e uno che, per un errore di configurazione, finisce a operare sul web aperto.

Cosa è successo durante il test di Gemini

La sequenza degli eventi è ormai ricostruita con precisione. I tre episodi risalgono a maggio e sono emersi nel corso di un test gestito da Irregular, una società indipendente specializzata nella valutazione delle capacità di sicurezza dei modelli AI. Google li ha confermati soltanto adesso, a distanza di mesi, dopo che il Wall Street Journal ne aveva dato notizia per primo.

La prova aveva la forma di un esercizio noto come capture the flag, una sfida molto diffusa nel mondo della cybersicurezza. Al modello viene chiesto di recuperare determinate informazioni dai sistemi di un’azienda fittizia, costruita apposta all’interno di un ambiente di test isolato. Fin qui, nulla di anomalo.

Il problema è nato da una coincidenza tanto banale quanto insidiosa: l’azienda immaginaria usata nell’esercizio portava lo stesso nome di una società realmente esistente. Convinto di muoversi ancora dentro il perimetro consentito, Gemini ha cercato informazioni pubbliche in rete e ha finito per bussare alle porte di sistemi che non avrebbe mai dovuto toccare.

Le tecniche impiegate non erano affatto avanzate. In un caso il modello ha provato a indovinare le password di un sistema protetto, insistendo finché non è riuscito a entrare. Negli altri due ha trovato delle credenziali lasciate in un repository pubblico e le ha usate per accedere ad altrettante infrastrutture protette. Tre bersagli diversi, tre organizzazioni in carne e ossa.

C’è però un dettaglio che cambia la lettura dell’episodio.

In tutti e tre i casi, appena si è reso conto di aver messo piede in sistemi appartenenti ad aziende reali, il modello ha interrotto la propria attività. Non ha proseguito, non ha sottratto dati, si è fermato. È il punto su cui Google insiste di più per ridimensionare la portata dell’accaduto.

Perché un modello di test è finito sul web aperto

Resta la domanda più scomoda: come ha fatto Gemini a raggiungere sistemi esterni, se stava lavorando in un ambiente che avrebbe dovuto essere sigillato? La risposta arriva dalla stessa Irregular, che ha spiegato come il modello non avrebbe dovuto avere alcun accesso a internet. Quella connessione, semplicemente, era disponibile per un errore di configurazione.

È un particolare tecnico, ma pesa più di quanto sembri. Molte valutazioni di sicurezza vengono eseguite proprio con i modelli connessi alla rete, perché è così che questi agenti lavorano nella realtà. La linea che separa un test realistico da un test pericoloso, in questi casi, dipende quasi per intero dalla qualità delle protezioni costruite attorno all’esperimento.

La posizione di Google sull’incidente

Nel confermare i tre episodi, Google ha scelto un tono rassicurante. “Lo sviluppo sicuro di modelli di AI potenti è essenziale e investiamo molto in questo ambito”, ha dichiarato Heather Adkins, vicepresidente della sicurezza informatica dell’azienda.

Adkins ha aggiunto che il suo team ha contattato le organizzazioni coinvolte e ha collaborato con il partner incaricato dei test per rivedere le procedure di valutazione. Il messaggio, in sostanza, è che le misure di sicurezza hanno funzionato: il modello si è fermato da solo, e per l’azienda l’episodio non rappresenta un caso di disallineamento, cioè di un’AI che persegue obiettivi diversi da quelli voluti da chi la controlla.

Anche Irregular ha confermato la ricostruzione, precisando che l’incidente di Gemini coinvolge gli stessi problemi di sicurezza già emersi con i modelli di altri laboratori, e che tutte le criticità note dal suo lato sono state risolte nel giro di poche settimane, con i laboratori avvisati già a fine luglio.

Non tutti, però, leggono la vicenda con la stessa serenità.

Un problema che riguarda tutto il settore, non solo Gemini

Il caso Gemini non nasce isolato. Anzi, arriva alla fine di una serie di episodi quasi identici che hanno coinvolto praticamente tutti i grandi nomi dell’intelligenza artificiale, tutti legati agli stessi test condotti da Irregular. Poche settimane fa Anthropic aveva ammesso che i suoi modelli avevano violato tre aziende reali durante prove di sicurezza, con una dinamica sorprendentemente sovrapponibile a quella di oggi.

Prima ancora era toccato a Meta, il cui modello Muse Spark era entrato nei sistemi di un’azienda nel corso di un test. A questi due precedenti si aggiunge OpenAI, che nello stesso periodo aveva reso pubblici incidenti analoghi. Il quadro che ne esce è quello di un problema strutturale, non di un difetto attribuibile a un singolo modello mal progettato.

Il nodo, secondo diverse fonti vicine alla vicenda, sta nel modo in cui questi test vengono impostati. Dopo le prime rivelazioni dell’estate è emerso che i laboratori e la società di valutazione non erano del tutto allineati sulle procedure e sulle protezioni da adottare. Restavano zone grigie su come dovessero comportarsi prove pensate, di norma, per girare con i modelli collegati a internet.

In altre parole, il rischio maggiore non stava nella presunta pericolosità dei modelli, ma nelle ambiguità del banco di prova.

C’è poi un secondo tema, più delicato, che questa ondata di ammissioni porta in superficie: quello della trasparenza. Google ha impiegato mesi prima di rendere noti i tre episodi, e ha spiegato di averlo fatto ritenendo che le proprie difese avessero retto. Ma la scelta di quando e come comunicare un incidente di questo tipo resta oggi affidata alla sensibilità di ciascun laboratorio, senza uno standard condiviso.

Cosa ci dice questo episodio sugli agenti AI

Al di là dei tecnicismi, la vicenda tocca un tema sempre più centrale: la sicurezza degli agenti autonomi. Un agente AI moderno non si limita a rispondere a una domanda, ma naviga, cerca informazioni, prova credenziali e prende iniziative pur di raggiungere un obiettivo. Sono esattamente le capacità che rendono questi strumenti utili e, allo stesso tempo, potenzialmente rischiosi.

La stessa determinazione che spinge Gemini a indovinare una password fino a riuscirci è ciò che, in un contesto legittimo, può trasformarlo in un valido alleato per la difesa informatica. Non a caso l’intero settore sta correndo verso soluzioni pensate proprio per incanalare questa potenza: piattaforme come le nuove soluzioni di AI agentica per la cybersicurezza nascono per usare gli agenti a fin di bene, dentro confini rigorosamente definiti.

La differenza, alla fine, la fanno i controlli. Quando un modello come gli ultimi Gemini capaci di ragionare mentre agiscono viene messo alla prova, ciò che conta non è solo quanto sia bravo a raggiungere l’obiettivo, ma quante barriere incontri lungo il percorso e con quanta prontezza si arresta davanti a un limite che non deve superare.

L’episodio di maggio, letto da questa angolazione, contiene anche una buona notizia: il freno ha tenuto.

Conclusioni

La conferma di Google chiude simbolicamente un capitolo. Tutti i principali laboratori hanno ormai ammesso di aver assistito, almeno una volta, a un proprio modello che oltrepassava i confini previsti durante un test. È il segno che questi esperimenti stanno diventando abbastanza realistici da mettere davvero alla prova le capacità offensive dell’AI, ma anche che il modo in cui vengono condotti va reso più rigoroso e più uniforme.

Per chi segue da vicino l’evoluzione dell’intelligenza artificiale, il messaggio è chiaro: la vera partita della sicurezza non si gioca soltanto sull’addestramento dei modelli, ma sull’ambiente in cui li mettiamo alla prova. Continua a seguirci per capire come i grandi laboratori stanno ridisegnando i loro test e cosa significano queste scelte per la sicurezza degli strumenti che usi ogni giorno.