La mappa dei bot IA del 2026: chi ti scansiona, cosa bloccare

Bloccare i «bot IA» come un’unica categoria è l’errore costoso del 2026. Sotto quell’etichetta si nascondono due famiglie completamente diverse: i crawler di addestramento, che prelevano i tuoi contenuti per addestrare un modello e non restituiscono nulla, e i fetcher del momento della risposta, inviati in tempo reale per rispondere alla domanda di un utente — e che ti citano per nome nella risposta. Dichiarano user-agent distinti, e tre righe in robots.txt bastano a separarli. Secondo il rapporto Cloudflare del 1° luglio 2026, il 52% delle richieste dei crawler riguarda ormai l’addestramento dell’IA a giugno 2026, contro il 22% della primavera 2025, e per la prima volta più del 50% del traffico su Internet non è umano. Bloccare tutto significa cancellarti dalle risposte; non bloccare nulla significa pagare banda per un addestramento che non ti restituisce mai nulla.

Due famiglie, non una

La distinzione che decide tutto non è chi gestisce il bot, ma quando viene eseguito. Un crawler di addestramento lavora su cicli propri, senza alcun legame con un utente. Raccoglie testo per un corpus, e il tuo contenuto si dissolve nei pesi del modello senza fonte, senza credito e senza link. Un fetcher del momento della risposta si comporta in modo del tutto diverso: un utente ha posto una domanda, il sistema ha ritenuto rilevante la tua pagina, e la richiesta parte adesso per leggerla e citarla — con il nome del tuo marchio e un link di ritorno.

Tre aziende hanno separato esplicitamente le due famiglie in user-agent distinti, ed è proprio il punto che la maggior parte dei siti si perde. OpenAI usa GPTBot per l’addestramento e OAI-SearchBot per l’indicizzazione in ChatGPT Search. Anthropic usa ClaudeBot per l’addestramento e Claude-SearchBot per l’indicizzazione. Google usa Google-Extended come controllo di opt-out per l’addestramento e il grounding di Gemini — un controllo che non è un crawler a sé e che non ha alcun effetto sul posizionamento in Search.

Esiste un terzo livello, meno noto: il recupero in tempo reale avviato da una persona. Quando qualcuno incolla un link in ChatGPT e chiede un riassunto, la richiesta arriva da ChatGPT-User, non da GPTBot. In Anthropic è Claude-User; in Perplexity, Perplexity-User. Questi bot non costruiscono alcun indice e non addestrano nulla — servono un essere umano che ti ha già chiesto.

La tabella: chi è chi, e quanto costa bloccare

Googlebot è il caso che non puoi separare

Google non separa la scansione che alimenta i normali risultati di ricerca da quella che alimenta AI Overviews e AI Mode. Entrambe passano da Googlebot, ed entrambe attingono allo stesso indice. Bloccare Googlebot per «restare fuori dall’IA» significa uscire del tutto da Google. Google-Extended governa solo il livello separato di addestramento e grounding di Gemini, e non ti rimuove da Search.

La conclusione pratica è semplice: per quanto riguarda Google, la decisione è già stata presa al posto tuo. L’unica domanda che resta nelle tue mani è come si legge la tua pagina quando un sistema ne genera una risposta — ed è una questione di struttura e di sostanza, non di permessi. Ne parlo in dettaglio nell’articolo sulla misurazione della visibilità nei motori di risposte IA.

Cloudflare aggiunge un dato che spiega perché la classificazione è difficile in partenza: i crawler a uso misto, che mescolano ricerca, uso agentico e addestramento sotto un unico user-agent, rappresentano oltre il 36% dell’attività dei crawler sulla loro rete. In altre parole, più di un terzo del traffico automatizzato che ti raggiunge non può essere ordinato in modo pulito per finalità.

Chi rispetta davvero robots.txt

robots.txt è una richiesta, non un meccanismo di applicazione. Un server che riceve una richiesta da uno user-agent che ha dichiarato di ignorare il file serve comunque il contenuto. Non è uno scenario teorico: la documentazione di OpenAI afferma che le regole di robots.txt potrebbero non applicarsi a ChatGPT-User, perché la richiesta segue un’azione esplicita di un utente umano. La documentazione di Perplexity dice più o meno lo stesso di Perplexity-User, notando che in genere non segue robots.txt per lo stesso motivo. Anthropic dichiara che tutti e tre i suoi bot lo rispettano.

Il ragionamento dietro quel comportamento è che la richiesta conta come azione umana e non come scansione. Puoi discutere il ragionamento, ma in pratica trattalo come un fatto operativo: se vuoi un blocco davvero applicato, robots.txt non è lo strumento. Lo strumento sta al livello della CDN o del firewall — Cloudflare, Fastly, o una regola WAF basata su user-agent e intervallo di IP.

Rapporti scansioni/referral — perché lo scambio non è più simmetrico

L’idea che la scansione si ripaghi in traffico di ritorno è storicamente vera e numericamente sbagliata. Nell’analisi Cloudflare del 28 agosto 2025, il rapporto tra pagine scansionate e singolo referral di ritorno era di circa 50.000 a 1 per Anthropic, 887 a 1 per OpenAI e 118 a 1 per Perplexity. Per la Ricerca Google tradizionale il rapporto è a una cifra.

Quei numeri non sostengono una sola conclusione. Dicono che il vecchio patto — tu fornisci il contenuto, il motore manda visitatori — non descrive più ciò che accade al livello dell’addestramento. Non dicono che la visibilità nei motori di risposte sia inutile, perché i referral che arrivano convertono in media meglio del traffico di ricerca ordinario: l’utente arriva dopo che il sistema ha già filtrato per lui e ti ha raccomandato per nome.

Tre posizioni praticabili, e a chi si addice ciascuna

Apertura totale. Nessun blocco. Adatta a siti di marketing, servizi professionali e B2B che vendono su fiducia e competenza. Il tuo contenuto è materiale di supporto alla vendita, non l’asset in sé; più modelli ti conoscono, più alte sono le probabilità che uno ti menzioni. L’unico costo è la banda.

Separazione selettiva. Bloccare l’addestramento, consentire la risposta. Adatta alla maggior parte dei siti con contenuti originali significativi: editoria, ricerca, basi di conoscenza, documentazione di prodotto. Paghi per il livello che ti restituisce utenti e non per quello che non lo fa. È la posizione che consiglio come default.

Blocco totale. Bloccare tutto e applicarlo alla CDN. Adatta ai casi in cui il contenuto è il prodotto — archivi, banche dati a pagamento, librerie di immagini — o quando vige un obbligo contrattuale o normativo. Sappi in partenza che stai rinunciando alla presenza nei motori di risposte, non solo all’addestramento.

Un robots.txt di esempio — separazione selettiva

Tre note su questo file. Primo, i blocchi user-agent non si sommano: un crawler legge solo il blocco più specifico che lo riguarda, quindi le restrizioni sotto User-agent: * non si applicano a nessun bot che abbia un blocco proprio. Secondo, Allow: / è tecnicamente ridondante — l’assenza di un divieto basta — ma documenta l’intenzione, e questo vale qualcosa quando fra un anno il file lo leggerà qualcun altro. Terzo, non c’è alcuna riga per Googlebot, ed è deliberato.

Come verificare che funzioni davvero

I tester di robots.txt ti mostrano che cosa dice il file, non che cosa succede. L’unica verifica che conta è il log di accesso del tuo server. Tre cose da misurare dopo due settimane:

1. Se i crawler bloccati si sono davvero fermati. Filtra il log per user-agent e conta le richieste prima e dopo. Un calo parziale significa che la regola non viene applicata.
2. Quale codice di risposta ricevono i crawler consentiti. È qui che si nasconde il guasto più comune: un firewall, un plugin di sicurezza o un livello di bot management restituisce 403 o un challenge a bot legittimi senza che nessuno l’abbia configurato. Il file consente; il server blocca.
3. Qual è la dimensione della risposta. Un 200 che trasporta 4 KB invece di 60 KB significa che il bot ha ricevuto un guscio HTML senza contenuto — un problema del tutto diverso, che tratto a parte nell’articolo su che cosa vede un agente IA quando arriva sul tuo sito.

Un ultimo punto che evita lavoro sprecato: il 10 luglio 2026 Google ha aggiornato la documentazione ufficiale per dichiarare esplicitamente che Google Search non usa i file llms.txt e li ignora. Se il tuo piano di bot management iniziava con la creazione di un llms.txt, spostalo in fondo alla lista. Non fa danni, ma non fa nemmeno ciò che la maggior parte delle guide promette.

Domande frequenti