Crawler AI e robots.txt: in Europa il 15% dei bot raggiunge pagine che gli editori avevano bloccato

Scrivere una riga di disallow nel file robots.txt non garantisce più che i bot delle intelligenze artificiali restino fuori. Un nuovo rilevamento diffuso il 14 agosto 2026 mostra che in Europa circa il 15% degli agenti di fetching identificati ha raggiunto pagine che i siti avevano esplicitamente vietato, e il bot con la diffusione più ampia appartiene all’assistente conversazionale più usato sul mercato.

Il dato arriva dal report State of the Bots di TollBit, la società di monitoraggio e licensing dei contenuti, e riguarda la prima metà del 2026. È stato ripreso da Search Engine Journal, che ha messo i numeri a confronto con la documentazione ufficiale delle aziende che gestiscono quei bot. Per chi pubblica contenuti online, e soprattutto per chi ci costruisce sopra un business, è un segnale che vale la pena leggere con attenzione.

Cosa misura davvero il report di TollBit

La prima cosa da chiarire è quale traffico finisce sotto osservazione, perché la parola crawler viene usata per indicare cose molto diverse tra loro.

Il report non parla dei crawler di addestramento, quelli che setacciano il web per costruire i dataset con cui si allenano i modelli. E non parla nemmeno dei crawler di ricerca, che indicizzano le pagine perché un motore possa recuperarle in seguito. La categoria al centro dell’analisi è un’altra: il page fetcher, cioè l’agente che carica un singolo URL in tempo reale perché una persona ha scritto una domanda in una chat e l’assistente ha deciso che gli serviva quella pagina per rispondere.

È una differenza sottile ma decisiva, e ci torneremo tra poco.

Sul totale dei siti europei considerati, circa il 15% dei fetcher AI identificati ha raggiunto URL marcati come non consentiti. Il dato aggregato però nasconde una distribuzione molto disomogenea, perché gli sconfinamenti si concentrano in pochi agenti ben precisi. ChatGPT-User, Bytespider e Youbot hanno raggiunto pagine vietate su quasi la metà dei siti europei che li avevano indicati per nome nel robots.txt. Tra i tre, ChatGPT-User è quello presente sul maggior numero di siti.

Lo stesso agente detiene un secondo primato. Il fetcher di ChatGPT è bloccato da più siti di qualsiasi altro bot della sua categoria, ed è anche quello che ha toccato pagine vietate sul maggior numero di siti. Non è una contraddizione: è la semplice aritmetica di un’istruzione che non porta con sé alcuna forma di applicazione concreta.

La metodologia di TollBit, su questo, è volutamente netta. Qualunque richiesta a un URL vietato viene contata come una violazione, senza tenere conto di ciò che la documentazione dell’operatore dichiara sul proprio rispetto delle regole.

Perché il robots.txt non basta più a fermare i bot AI

Il motivo per cui una riga di disallow rivolta a ChatGPT-User non pesa quanto un editore si aspetterebbe è scritto nella documentazione di OpenAI.

L’azienda spiega che ChatGPT-User visita una pagina quando un utente pone una domanda, e che poiché queste azioni sono avviate da una persona, le regole del robots.txt potrebbero non applicarsi. Non è un dettaglio dell’ultima ora: OpenAI ha rimosso il linguaggio sul rispetto del robots.txt per ChatGPT-User dalla propria documentazione il 9 dicembre 2025.

Perplexity adotta la stessa posizione per il suo Perplexity-User. Google ha formalizzato la medesima categoria di traffico il 20 marzo 2026, aggiungendo Google-Agent all’elenco ufficiale dei fetcher attivati dall’utente e documentando che questi agenti in genere ignorano il robots.txt proprio perché è stata una persona a richiedere la pagina.

Non tutti la pensano così. Anthropic dichiara che i suoi tre bot, ClaudeBot, Claude-User e Claude-SearchBot, rispettano il file, una posizione ribadita a febbraio 2026.

Il risultato è un panorama spaccato. Tre tra i maggiori operatori di traffico assistito sostengono posizioni incompatibili sul fatto che lo stesso file governi o meno lo stesso comportamento. E a fine luglio 2026 la sezione australiana della IAB ha messo nero su bianco la conclusione più scomoda: il robots.txt non è un controllo affidabile per gli agenti che agiscono in tempo reale.

Europa e Nord America bloccano i nuovi agenti in modo molto diverso

C’è un secondo blocco di numeri nel report che racconta cosa gli editori stanno davvero scrivendo nei loro file, e qui la differenza tra le due sponde dell’Atlantico è netta.

Solo il 9% dei siti europei blocca Claude-User, il fetcher di Anthropic, contro il 26% del Nord America. Perplexity-User mostra un andamento simile, con il 13% in Europa contro il 26% in Nord America. La maggior parte degli agenti di fetching più recenti resta a percentuali di blocco a una cifra sola nel vecchio continente.

ChatGPT-User è l’eccezione, bloccato a tassi nettamente superiori ai suoi pari. Ed è anche per questo che produce il maggior numero assoluto di violazioni osservate: un agente che nessuno ha mai nominato nel robots.txt non può registrare la violazione di una regola che non è mai stata scritta.

Questo artificio statistico conta nell’interpretazione dei dati. Un basso numero di sconfinamenti per un agente nuovo non dimostra un buon comportamento. Potrebbe dimostrare soltanto che quell’agente è ancora poco conosciuto.

Il dilemma della visibilità

Bloccare tutto ciò che ha le lettere AI attaccate al nome può costare più di quanto sembri, e qui entra in gioco un aspetto che interessa da vicino chi lavora con la SEO.

La documentazione di OpenAI separa gli user agent per funzione. OAI-SearchBot è l’agente che fa comparire i siti nei risultati di ricerca dentro ChatGPT, e i siti che lo escludono non appariranno tra le risposte di ricerca dell’assistente, anche se possono ancora mostrarsi come semplici link di navigazione. GPTBot riguarda invece l’addestramento dei modelli, mentre ChatGPT-User è il fetcher attivato dall’utente.

Ogni impostazione lavora in modo indipendente, e da qui nasce l’asimmetria. Un sito che blocca sia OAI-SearchBot sia ChatGPT-User ha rinunciato alla visibilità nella ricerca, che OpenAI documenta come istruzione rispettata, e ha tenuto un controllo sul fetching che la stessa OpenAI documenta come dotato di una deroga. In pratica hai ceduto la metà buona dell’accordo, la visibilità, e hai trattenuto quella che vale meno.

Non è un ragionamento teorico. Una ricerca della Rutgers Business School e della Wharton School ha rilevato che gli editori di notizie che hanno bloccato i crawler AI tramite robots.txt hanno perso circa il 7% del traffico settimanale nel giro di sei settimane, un calo visibile nei dati di navigazione reale e non solo nelle metriche dei bot. Un’altra analisi ha mostrato che il blocco non rimuove in modo affidabile un sito dai dataset di citazione delle AI. Se il tuo obiettivo è farti citare dagli assistenti, conviene capire come funziona la Generative Engine Optimization, che ragiona proprio su questa logica.

La difesa si sposta a livello di rete, e Cloudflare fissa una data

La risposta che sta prendendo forma si colloca sotto il robots.txt, a un livello che gli operatori non possono semplicemente decidere di ignorare.

Cloudflare ha pubblicato il 1 luglio 2026 un aggiornamento di policy intitolato “Your site, your rules”, che sostituisce la vecchia divisione binaria dei bot AI con una tassonomia basata sul comportamento e non sull’etichetta. Tre categorie fanno da perno: Search, cioè chi raccoglie o indicizza contenuti per rispondere a domande in seguito; Agent, cioè il comportamento automatico che agisce in tempo reale per conto di una persona; e Training, cioè i crawler che prelevano contenuti per addestrare un modello.

La categoria Agent è esattamente quella dei bot al centro della misurazione di TollBit, e comprende sia i fetcher da chat come ChatGPT-User sia gli agenti che pilotano un browser al posto tuo. Non a caso Cloudflare ha da poco lanciato anche un browser costruito per gli agenti AI e non per le persone.

Il dettaglio con una data è il cambio delle impostazioni predefinite. Dal 15 settembre 2026, per tutti i nuovi domini che si affidano a Cloudflare, i crawler classificati come Training e Agent saranno bloccati in modo predefinito sulle pagine che mostrano pubblicità, mentre la ricerca resterà consentita.

Il ragionamento lega la regola alla monetizzazione. La presenza di un annuncio segnala che il proprietario del sito voleva che a vedere quella pagina fosse una persona, quindi su quelle pagine l’attenzione umana viene trattata come l’obiettivo e i bot che rischiano di sostituirla vengono tenuti alla larga. Con oltre il 20% dei domini web dietro la sua rete, Cloudflare parte da una posizione di forza per far valere una scelta del genere.

Cosa cambia per editori, SEO e inserzionisti

Il divario tra ciò che un file robots.txt chiede e ciò che un log di server registra non è più un sospetto, ma una quantità misurabile, con conseguenze concrete su entrambi i lati della transazione pubblicitaria.

Se gestisci un sito che vive di advertising, la data del 15 settembre ti riguarda da vicino. Il traffico Agent è proprio la classe che TollBit ha visto scavalcare le righe di disallow, ed è la stessa che Cloudflare bloccherà in automatico sulle pagine con annunci per i nuovi domini. Un controllo che gli operatori possono scegliere di non onorare viene sostituito, per una fetta crescente del web, da uno che non possono aggirare.

Per chi misura le campagne, il problema pratico è la composizione del traffico. Le richieste automatiche superano già quelle umane sulla rete di Cloudflare, e un traffico senza una persona dietro distorce i conteggi dell’inventario, le metriche di sessione e i denominatori di ogni tasso di conversione. Del resto è diventato molto facile, oggi, estrarre dati dal web in modo programmatico, e questo rende ancora più sfumato il confine tra un bot legittimo e uno indesiderato.

Per le operazioni europee, infine, i tassi di blocco raccontano un mercato che ha scritto meno regole del Nord America per gli agenti più recenti. Che questo rifletta apertura deliberata, cicli di aggiornamento più lenti o semplice disattenzione, i numeri sugli sconfinamenti non possono dirlo. La conseguenza, però, è chiara: molti editori del vecchio continente non hanno ancora deciso come vogliono essere trattati dagli assistenti AI.

Il nodo resta aperto

La domanda di fondo è se la deroga per il traffico avviato dall’utente reggerà nel tempo. Si basa su un’idea semplice, cioè che una richiesta fatta perché una persona l’ha chiesta sarebbe diversa, per natura, da un crawler che preleva contenuti secondo un proprio calendario. Ma ormai ogni grande assistente recupera pagine in questo modo, e il volume dietro quella distinzione continua a crescere.

Per te che pubblichi, il messaggio operativo è duplice. Da un lato conviene rivedere il tuo robots.txt distinguendo con cura tra bot di ricerca, di addestramento e agenti in tempo reale, invece di bloccare tutto in blocco e rischiare di perdere visibilità preziosa. Dall’altro, la vera partita si giocherà sempre più a livello di rete e di regole di monetizzazione, non su un file di testo che è, e resta, soltanto una richiesta. Se vuoi capire come muoverti, parti dalla nostra guida su SEO e intelligenza artificiale e ragiona con attenzione su quali agenti ti conviene davvero far entrare nel tuo sito.