Cloudflare blocca i crawler AI di default dal 15 settembre: cosa cambia per il tuo sito

Se gestisci un sito web, hai tempo fino al 15 settembre 2026 per decidere come vuoi che l’intelligenza artificiale tratti i tuoi contenuti. Da quella data Cloudflare cambia le impostazioni predefinite con cui filtra i bot AI: i crawler che addestrano i modelli o che agiscono in tempo reale per conto di un utente vengono bloccati in automatico sulle pagine che mostrano pubblicità, mentre i crawler di ricerca restano liberi di passare.

Sembra un dettaglio tecnico da amministratori di sistema, e invece tocca da vicino chi vive di contenuti, di advertising e di posizionamento organico. Qui la scelta di non scegliere è già una scelta.

Cosa cambia davvero dal 15 settembre

Fino a oggi, quando attivavi le protezioni anti bot di Cloudflare avevi in mano un unico interruttore, acceso o spento, valido per tutto il traffico AI. La novità ribalta questo approccio e introduce una regola predefinita molto più selettiva per i nuovi domini che entrano nella piattaforma.

Il meccanismo è semplice nella sostanza. Dal 15 settembre 2026 i bot classificati come Training o come Agent vengono bloccati sulle pagine che ospitano annunci pubblicitari, mentre quelli di ricerca continuano a essere ammessi. In altre parole, chi vuole i tuoi testi per addestrare un modello o per far agire un assistente trova la porta chiusa proprio dove tu monetizzi, mentre chi ti indicizza per mandarti lettori resta il benvenuto.

La logica dichiarata da Cloudflare è quella di aiutarti a trattenere il traffico automatico che ti restituisce visite e ricavi, e allo stesso tempo a fermare quello che si limita a prelevare i tuoi contenuti senza darti nulla in cambio.

Nessuno ti obbliga a subire il nuovo standard. Ogni cliente può disattivare le impostazioni predefinite in qualsiasi momento prima del 15 settembre, agendo dalle impostazioni di sicurezza del proprio account. Ma se non fai nulla, per i nuovi domini varrà la configurazione scelta da Cloudflare, non la tua.

Un interruttore solo non bastava più: Search, Agent e Training

Il cuore del cambiamento è la distinzione tra tre comportamenti diversi del traffico AI, che ora puoi governare in modo indipendente invece di trattarli come un unico blocco. Non tutti i bot fanno la stessa cosa, e la novità di Cloudflare parte proprio da questa constatazione.

• Search: i crawler che indicizzano i tuoi contenuti per poterli richiamare e rispondere alle domande degli utenti, quelli da cui ti aspetti traffico di ritorno o una qualche forma di compensazione.
• Agent: l’attività automatica che agisce in tempo reale per conto di una persona, come i bot che recuperano una pagina durante una conversazione o gli agenti che navigano al posto tuo.
• Training: i crawler che raccolgono i tuoi testi per addestrare o perfezionare un modello linguistico.

Per ciascuno di questi profili puoi scegliere fra tre strade: bloccarlo su tutte le pagine, bloccarlo solo dove sono presenti annunci, oppure lasciarlo passare. È una granularità che fino a poco tempo fa non esisteva e che ti permette di calibrare la difesa in base al valore reale che ogni tipo di bot ti porta.

Il punto interessante è che questa suddivisione riconosce, di fatto, che l’accesso ai contenuti non è più una questione binaria. Un bot che ti manda lettori e un bot che si allena sui tuoi articoli senza citarti non sono la stessa cosa, e finalmente puoi trattarli in modo diverso.

Il caso Googlebot: il rischio nascosto per la SEO

Qui arriva la parte che devi leggere con la massima attenzione se il tuo traffico dipende da Google. Alcuni crawler non svolgono una funzione sola: Googlebot, per esempio, raccoglie contenuti sia per la ricerca sia per l’addestramento dei modelli, usando lo stesso bot per entrambe le finalità.

Cloudflare valuta questi crawler multiuso su tutti i comportamenti che mostrano e applica la regola più restrittiva che hai impostato. La conseguenza è diretta: se blocchi il Training, dal 15 settembre rischi di bloccare Googlebot anche quando sta semplicemente scansionando le tue pagine con pubblicità, a meno che tu non lo escluda in modo esplicito.

Il paradosso è evidente.

Nel tentativo di difendere i tuoi contenuti dall’addestramento dei modelli, potresti finire per ostacolare proprio la scansione che ti porta visite dalla ricerca organica. È lo stesso motore, con due funzioni opposte per i tuoi interessi. Prima di applicare qualsiasi blocco, verifica con cura come vengono trattati i crawler misti, perché qui un errore si paga direttamente in posizionamento e in traffico perso.

Perché Cloudflare ha deciso di cambiare le regole

Per capire la mossa serve un po’ di contesto. Da quando gli assistenti conversazionali rispondono direttamente alle domande degli utenti, molto spesso lo fanno attingendo ai contenuti dei siti senza rimandare alcun visitatore alla fonte. Per un editore che vive di pubblicità significa vedere il proprio lavoro alimentare un modello altrui senza ricevere in cambio né clic né ricavi.

La tensione non nasce oggi. Diversi studi hanno già mostrato quanto sia fragile la barriera del file robots.txt, con una quota consistente di bot che raggiunge comunque pagine che gli editori credevano di aver protetto. Ne abbiamo parlato analizzando come in Europa una parte dei crawler AI arrivi lo stesso a contenuti bloccati, un segnale di quanto le vecchie regole del web siano diventate insufficienti.

Cloudflare si muove su questo terreno da tempo. Aveva già sperimentato modelli di pagamento per l’accesso ai contenuti, con l’idea di far pagare i bot che vogliono i tuoi testi, come nel caso del portafoglio per gli agenti AI basato su stablecoin, e aveva persino presentato un browser pensato per gli agenti e non per le persone. Il blocco predefinito dal 15 settembre porta questa filosofia dentro le impostazioni di ogni sito, e la rende la nuova normalità invece di un’opzione per pochi.

C’è anche una posta in gioco più ampia. Se i grandi network di distribuzione iniziano a chiudere i rubinetti per impostazione predefinita, le aziende che addestrano i modelli dovranno negoziare accordi, pagare per i dati o accontentarsi di fonti meno ricche. È un riequilibrio di potere tra chi produce i contenuti e chi li consuma per addestrare le AI.

Cosa significa per chi fa SEO, marketing ed editoria

Se lavori con la SEO o gestisci un progetto editoriale, questa novità va letta su due piani. Sul piano difensivo, hai finalmente uno strumento preciso per decidere chi può addestrarsi sui tuoi contenuti e chi no, senza dover rinunciare al traffico di ricerca. Sul piano strategico, però, il quadro è più sfumato.

Bloccare l’addestramento protegge il tuo lavoro, ma non ti rende automaticamente più visibile nelle risposte generate dall’AI. Anzi, se il tuo obiettivo è comparire come fonte citata dagli assistenti, un blocco troppo aggressivo può addirittura escluderti dal gioco. La domanda non è più solo come difenderti, ma come vuoi esistere in un web dove sempre più risposte passano dalle AI.

Vale la pena decidere in modo consapevole, tenendo insieme la tutela dei contenuti e la voglia di restare presenti dove si formano le risposte.

Cosa fare prima del 15 settembre

La prima cosa è capire se rientri nel perimetro del cambiamento. Se stai per aggiungere nuovi domini a Cloudflare, dai per scontato che partiranno con le nuove impostazioni e verifica se ti vanno bene.

Poi ragiona per obiettivi. Se il tuo modello di business è l’advertising e non vuoi regalare i contenuti all’addestramento, la configurazione predefinita ti conviene e puoi lasciarla così. Se invece dipendi molto dalla ricerca organica, tratta con prudenza il blocco del Training per non colpire Googlebot, e tieni comunque aperti i crawler di ricerca.

C’è poi una terza via, sempre più concreta: non limitarti a difenderti, ma lavora per farti citare dalle AI. Ottimizzare i contenuti affinché i modelli li usino come fonte autorevole è ormai una disciplina a sé, e se vuoi approfondirla trovi una guida alla Generative Engine Optimization che spiega come muoverti passo dopo passo.

Il 15 settembre non è una scadenza drammatica, ma è uno di quei momenti in cui il web ridefinisce in silenzio le proprie regole. Prenditi dieci minuti, apri le impostazioni di sicurezza del tuo account Cloudflare, decidi che rapporto vuoi avere con i bot AI e configura di conseguenza. Fare una scelta consapevole oggi vale molto più che scoprire tra un mese perché il tuo traffico è cambiato. Se vuoi tutti i dettagli tecnici, puoi leggere la nota ufficiale di Cloudflare.