La carte des bots IA en 2026 : qui vous explore, quoi bloquer

Bloquer les « bots IA » comme une seule catégorie est l’erreur coûteuse de 2026. Deux familles entièrement différentes se cachent derrière cette étiquette : les robots d’entraînement, qui aspirent votre contenu pour entraîner un modèle et ne renvoient rien, et les récupérateurs du moment de la réponse, envoyés en temps réel pour répondre à la question d’un utilisateur — et qui vous citent nommément dans la réponse. Ils déclarent des user-agents distincts, et trois lignes dans robots.txt suffisent à les séparer. Selon le rapport de Cloudflare du 1er juillet 2026, 52 % des requêtes de robots concernent désormais l’entraînement de l’IA en juin 2026, contre 22 % au printemps 2025, et pour la première fois plus de 50 % du trafic sur Internet n’est pas humain. Tout bloquer revient à vous effacer des réponses ; ne rien bloquer revient à payer la bande passante d’un entraînement qui ne vous rapporte jamais rien.

Deux familles, pas une

La distinction qui décide de tout n’est pas qui exploite le bot, mais quand il s’exécute. Un robot d’entraînement travaille selon ses propres cycles, sans aucun lien avec un utilisateur. Il collecte du texte pour un corpus, et votre contenu se dissout dans les poids du modèle sans source, sans crédit et sans lien. Un récupérateur du moment de la réponse se comporte tout autrement : un utilisateur a posé une question, le système a jugé votre page pertinente, et la requête part maintenant pour la lire et la citer — avec le nom de votre marque et un lien de retour.

Trois entreprises ont explicitement séparé les deux familles en user-agents distincts, et c’est précisément le point que la plupart des sites manquent. OpenAI exploite GPTBot pour l’entraînement et OAI-SearchBot pour l’indexation dans ChatGPT Search. Anthropic exploite ClaudeBot pour l’entraînement et Claude-SearchBot pour l’indexation. Google exploite Google-Extended comme contrôle d’exclusion pour l’entraînement et le grounding de Gemini — un contrôle qui n’est pas un robot à part entière et qui n’a aucun effet sur le classement dans Search.

Il existe une troisième couche, moins connue : la récupération en temps réel déclenchée par une personne. Quand quelqu’un colle un lien dans ChatGPT et demande un résumé, la requête vient de ChatGPT-User, pas de GPTBot. Chez Anthropic c’est Claude-User ; chez Perplexity, Perplexity-User. Ces bots ne construisent aucun index et n’entraînent rien — ils servent un humain qui vous a déjà demandé.

Le tableau : qui est qui, et ce que le blocage vous coûte

Googlebot est le cas que vous ne pouvez pas scinder

Google ne sépare pas l’exploration qui alimente les résultats de recherche ordinaires de celle qui alimente AI Overviews et AI Mode. Les deux passent par Googlebot, et les deux puisent dans le même index. Bloquer Googlebot pour « rester hors de l’IA » revient à quitter Google tout court. Google-Extended ne gouverne que la couche séparée d’entraînement et de grounding de Gemini, et ne vous retire pas de Search.

La conclusion pratique est simple : en ce qui concerne Google, la décision a déjà été prise pour vous. La seule question qui reste entre vos mains est la façon dont votre page se lit quand un système en génère une réponse — et c’est une question de structure et de fond, pas d’autorisations. J’y reviens en détail dans l’article sur la mesure de la visibilité dans les moteurs de réponses IA.

Cloudflare ajoute un chiffre qui explique pourquoi la classification est difficile dès le départ : les robots à usage mixte, qui mêlent recherche, usage agentique et entraînement sous un seul user-agent, représentent plus de 36 % de l’activité des robots sur leur réseau. Autrement dit, plus d’un tiers du trafic automatisé qui vous atteint ne peut pas être trié proprement par finalité.

Qui respecte réellement robots.txt

robots.txt est une demande, pas un mécanisme d’application. Un serveur qui reçoit une requête d’un user-agent ayant déclaré qu’il ignore le fichier sert quand même le contenu. Ce n’est pas un scénario théorique : la documentation d’OpenAI indique que les règles de robots.txt peuvent ne pas s’appliquer à ChatGPT-User, parce que la requête fait suite à une action explicite d’un humain. La documentation de Perplexity dit à peu près la même chose de Perplexity-User, en notant qu’il ne suit généralement pas robots.txt pour la même raison. Anthropic déclare que ses trois bots le respectent.

Le raisonnement derrière ce comportement est que la requête compte comme une action humaine plutôt que comme une exploration. Vous pouvez contester le raisonnement, mais en pratique traitez-le comme un fait opérationnel : si vous voulez un blocage réellement appliqué, robots.txt n’est pas l’outil. L’outil se situe au niveau du CDN ou du pare-feu — Cloudflare, Fastly, ou une règle WAF qui s’appuie sur le user-agent et la plage d’IP.

Ratios exploration/renvoi — pourquoi l’échange n’est plus symétrique

L’idée selon laquelle l’exploration se rembourse en trafic de retour est historiquement vraie et numériquement fausse. Dans l’analyse de Cloudflare du 28 août 2025, le rapport entre pages explorées et renvoi unique était d’environ 50 000 pour 1 chez Anthropic, 887 pour 1 chez OpenAI et 118 pour 1 chez Perplexity. Pour Google Search classique, le rapport tient sur un seul chiffre.

Ces chiffres ne soutiennent pas une conclusion unique. Ils disent que l’ancien marché — vous fournissez le contenu, le moteur envoie des visiteurs — ne décrit plus ce qui se passe à la couche d’entraînement. Ils ne disent pas que la visibilité dans les moteurs de réponses est sans valeur, car les renvois qui arrivent convertissent en moyenne mieux que le trafic de recherche ordinaire : l’utilisateur arrive après que le système a déjà filtré pour lui et vous a recommandé nommément.

Trois positions viables, et à qui chacune convient

Ouverture totale. Aucun blocage. Convient aux sites marketing, aux services professionnels et au B2B qui vendent sur la confiance et l’expertise. Votre contenu est un support de vente, pas l’actif lui-même ; plus il y a de modèles qui vous connaissent, plus la probabilité qu’un d’eux vous mentionne est élevée. Le seul coût est la bande passante.

Séparation sélective. Bloquer l’entraînement, autoriser la réponse. Convient à la plupart des sites au contenu original significatif : édition, recherche, bases de connaissances, documentation produit. Vous payez pour la couche qui vous renvoie des utilisateurs et pas pour celle qui ne le fait pas. C’est la position que je recommande par défaut.

Blocage total. Tout bloquer et l’appliquer au niveau du CDN. Convient aux cas où le contenu est le produit — archives, bases de données payantes, banques d’images — ou lorsqu’une obligation contractuelle ou réglementaire s’applique. Sachez d’avance que vous renoncez à la présence dans les moteurs de réponses, pas seulement à l’entraînement.

Un robots.txt d’exemple — séparation sélective

Trois remarques sur ce fichier. Premièrement, les blocs user-agent ne se cumulent pas : un robot ne lit que le bloc le plus spécifique qui le concerne, donc les restrictions sous User-agent: * ne s’appliquent à aucun bot ayant son propre bloc. Deuxièmement, Allow: / est techniquement redondant — l’absence d’interdiction suffit — mais il documente l’intention, et cela vaut quelque chose quand quelqu’un d’autre lira le fichier dans un an. Troisièmement, il n’y a aucune ligne pour Googlebot, et c’est délibéré.

Comment vérifier que cela fonctionne vraiment

Les testeurs de robots.txt vous montrent ce que dit le fichier, pas ce qui se passe. La seule vérification qui compte est le journal d’accès de votre serveur. Trois choses à mesurer deux semaines plus tard :

1. Si les robots bloqués se sont réellement arrêtés. Filtrez le journal par user-agent et comptez les requêtes avant et après. Une baisse partielle signifie que la règle n’est pas appliquée.
2. Quel code de réponse reçoivent les robots autorisés. C’est là que se cache la panne la plus fréquente : un pare-feu, un plugin de sécurité ou une couche de gestion des bots renvoie 403 ou un challenge à des bots légitimes sans que personne ne l’ait configuré. Le fichier autorise ; le serveur bloque.
3. Quelle est la taille de la réponse. Un 200 qui transporte 4 Ko au lieu de 60 Ko signifie que le bot a reçu une coquille HTML sans contenu — un problème entièrement différent, que je traite à part dans l’article sur ce qu’un agent IA voit en arrivant sur votre site.

Un dernier point qui évite du travail inutile : le 10 juillet 2026, Google a mis à jour sa documentation officielle pour indiquer explicitement que Google Search n’utilise pas les fichiers llms.txt et les ignore. Si votre plan de gestion des bots commençait par créer un llms.txt, descendez-le en bas de la liste. Cela ne fait pas de mal, mais cela ne fait pas non plus ce que la plupart des guides promettent.

Questions fréquentes