Opt-out per l’addestramento AI in robots.txt: Google, Microsoft, OpenAI e Anthropic sostengono un solo segnale

Per anni chi gestisce un sito ha dovuto scrivere nel file robots.txt una riga diversa per ogni crawler di intelligenza artificiale: una per il bot di OpenAI, una per quello di Google, un’altra per Anthropic e così via. Alla fine di ottobre 2026 questo scenario ha iniziato a cambiare: Google, Microsoft, OpenAI e Anthropic hanno dichiarato che rispetteranno un unico segnale per esprimere il rifiuto all’uso dei contenuti nell’addestramento dei modelli generativi.

Si tratta di una novità importante per chi pubblica contenuti online, ma va letta con attenzione, perché non è ancora uno standard approvato e le tempistiche delle quattro aziende sono molto diverse tra loro.

Cosa è stato annunciato sull’opt-out condiviso per l’addestramento AI

Il punto di partenza è una bozza presentata all’IETF, l’organismo che discute gli standard di Internet, dal titolo Training Preference Signal. L’autore è Kevin Kelley, responsabile tecnico per gli standard di Anthropic, che l’ha anche presentata sulla mailing list dedicata alle preferenze sull’AI. Subito dopo la pubblicazione della bozza, le quattro aziende hanno fatto sapere che intendono sostenerla.

L’idea è semplice. Nel file robots.txt si aggiunge un gruppo che usa un nome speciale, chiamato token di policy, indicato nella bozza come __usage_ai-training. Sotto quel nome si elencano i percorsi del sito che non vuoi vengano usati per addestrare i modelli. L’esempio della bozza blocca l’intero sito lasciando però accessibile una cartella, come quella del press kit.

In pratica, una sola istruzione sostituisce l’elenco dei singoli bot. Se un nuovo operatore adotta il segnale, il tuo rifiuto vale anche per lui senza che tu debba intervenire.

Un segnale di preferenza, non un ordine di blocco

Il token esprime una preferenza su come i contenuti possono essere usati, non vieta il crawling in generale. Un sito che lo adotta continua a poter essere scansionato per altri scopi, a cominciare dalla ricerca tradizionale, e non sparisce da Google Search. Inoltre il segnale non cancella ciò che è già stato raccolto: riguarda solo l’uso futuro.

C’è poi un dettaglio che conta molto: chi non inserisce alcun gruppo con il token non ha espresso nessuna preferenza. Le regole che hai già scritto per altri crawler non vengono interpretate automaticamente come un rifiuto all’addestramento.

Le tempistiche di Anthropic, OpenAI, Google e Microsoft

Le quattro aziende non partono dalla stessa linea. Anthropic ha dichiarato di aver già avviato il lavoro di supporto, senza indicare una data precisa, e di considerare il segnale complementare ai controlli sui crawler che offre già. OpenAI parla di un’adozione nei prossimi mesi, mantenendo intanto attive le regole esistenti per GPTBot e per gli altri suoi strumenti.

Google prevede il supporto all’inizio del 2027. Fino ad allora, e anche dopo, se un sito usa il token senza citare Google-Extended, il gruppo di Mountain View lo tratterà come un blocco di Google-Extended, il crawler che raccoglie materiale per addestrare i modelli Gemini. Microsoft onorerà le preferenze dal 1° febbraio 2027 e le userà al posto dei tag NoArchive e NoCache adottati dal 2023, aggiungendo un’impostazione separata a livello di pagina per l’uso dei contenuti nelle risposte AI.

Quindi, nell’immediato, il segnale è soprattutto una dichiarazione di intenti: i primi effetti concreti sono attesi tra la fine del 2026 e i primi mesi del 2027.

Perché conta per editori, aziende e professionisti

Per gli editori la fatica di gestire un elenco crescente di bot è reale. Già a settembre avevamo raccontato come Cloudflare abbia iniziato a bloccare i crawler AI per impostazione predefinita, segno di quanto il tema del controllo sull’accesso sia diventato centrale per l’infrastruttura del web. Un token comune riduce gli errori di configurazione e rende più leggibile la policy di un sito.

Il quadro è però più ampio del solo robots.txt. Sul fronte dei compensi, Google ha avviato un progetto pilota descritto nel nostro approfondimento su come Google paga gli editori per le risposte AI, mentre sul versante legale la causa raccontata in quella degli editori canadesi contro Anthropic mostra che il conflitto sull’addestramento è tutt’altro che chiuso.

Un segnale tecnico condiviso non risolve queste dispute, ma offre una base comune: è più facile dimostrare di aver espresso un rifiuto se esiste un modo standard per farlo.

Il collegamento con il quadro europeo

Secondo quanto riportato dalla stampa specializzata, Google ritiene la proposta coerente con il Codice di condotta europeo per i modelli di intelligenza artificiale di uso generale, che riconosce il file robots.txt come uno dei principali strumenti con cui gli editori possono esprimere preferenze leggibili dalle macchine. La bozza ringrazia anche personale di testate e gruppi editoriali europei come Financial Times, BBC, Bertelsmann ed European Publishers Council, a conferma che il tema riguarda da vicino il mercato del nostro continente.

Per chi opera in Italia, dove si discute molto di diritto d’autore e di trasparenza sui dati di addestramento, un meccanismo riconosciuto da più aziende può diventare un riferimento pratico nelle trattative e nei contratti.

I limiti e i punti ancora aperti

Il primo limite è formale: si tratta di una bozza individuale, non di uno standard. L’IETF non l’ha approvata e il documento non ha, allo stato attuale, alcun valore nel processo di standardizzazione. Il fatto che quattro grandi aziende dichiarino di volerla sostenere le dà peso politico, ma le regole potrebbero cambiare prima di una versione definitiva.

Il secondo limite riguarda gli accordi privati. Un contratto tra un sito e un’azienda di AI può prevalere sul segnale, quindi chi ha già firmato una licenza deve verificarne le condizioni prima di modificare il file.

Il terzo è la mancanza di un impegno chiaro di tutti gli operatori. Il responsabile comunicazione di Meta ha espresso sostegno a un segnale comune, ma non ha detto se l’azienda lo rispetterà. Su un tema collegato, l’azienda aveva già modificato le regole di accesso ai siti business, come spiegato nell’articolo su Meta e il crawling dei siti business.

Infine c’è una questione di visibilità. Microsoft ha avvertito che bloccare l’uso dei contenuti nelle risposte generate dall’AI riduce la presenza del sito in quelle esperienze, pur senza toccare il posizionamento su Bing. Lo stesso ragionamento vale per chi lavora con SEO e contenuti: rifiutare l’addestramento non equivale a uscire dalla ricerca, ma può avere effetti sulle citazioni nei motori generativi.

Cosa puoi fare adesso con il tuo sito

Non c’è nulla da modificare oggi con effetto garantito, ma puoi prepararti. Il primo passo è decidere quale sia la tua posizione: vuoi che i tuoi testi contribuiscano all’addestramento dei modelli, vuoi escluderli del tutto oppure preferisci una via di mezzo, con alcune sezioni aperte e altre protette?

Il secondo passo è controllare il tuo robots.txt attuale. Se hai già regole per GPTBot, Google-Extended e altri crawler, annota quali sono e quando le hai aggiunte, perché continueranno a servire finché il nuovo segnale non sarà adottato da tutti. Il terzo è seguire gli aggiornamenti della documentazione di ciascun operatore, che indicheranno quando il token verrà effettivamente letto.

Se gestisci più siti o lavori per clienti, conviene inoltre documentare la scelta fatta, così da poterla spiegare in caso di richieste legali o di confronto con editori e partner.

Conclusioni

L’opt-out condiviso è un passo concreto verso un web in cui dire no all’addestramento diventa più semplice, ma per ora resta una promessa con tempi diversi da azienda ad azienda e senza il sigillo di uno standard. Il valore principale è il segnale politico: i principali sviluppatori accettano l’idea che gli editori debbano avere uno strumento unico e leggibile.

Intanto puoi fare ordine nelle tue regole di accesso e tenere d’occhio gli annunci di Google, OpenAI, Microsoft e Anthropic. Per approfondire, leggi la ricostruzione di The Next Web e il testo della bozza IETF, e seguici per i prossimi aggiornamenti su regolamentazione e AI.