Карта ИИ-ботов 2026: кто вас сканирует и что блокировать

Блокировать «ИИ-ботов» как единую категорию — дорогая ошибка 2026 года. За этим ярлыком скрываются два совершенно разных семейства: обучающие краулеры, которые забирают ваш контент для обучения модели и не возвращают ничего, и сборщики момента ответа, которые отправляются в реальном времени, чтобы ответить на вопрос пользователя, — и называют вас по имени в ответе. У них разные user-agent, и трёх строк в robots.txt достаточно, чтобы их разделить. По отчёту Cloudflare от 1 июля 2026 года, 52% запросов краулеров в июне 2026 года приходятся на обучение ИИ против 22% весной 2025 года, и впервые более 50% трафика в интернете не является человеческим. Заблокировать всё — значит стереть себя из ответов; не блокировать ничего — значит платить за трафик обучения, которое никогда к вам не возвращается.

Два семейства, а не одно

Решающее различие — не в том, кто управляет ботом, а в том, когда он работает. Обучающий краулер работает по собственным циклам, никак не связанным с пользователем. Он собирает текст для корпуса, и ваш контент растворяется в весах модели без источника, без упоминания и без ссылки. Сборщик момента ответа ведёт себя совершенно иначе: пользователь задал вопрос, система решила, что ваша страница релевантна, и запрос уходит прямо сейчас, чтобы прочитать её и процитировать — с названием вашего бренда и обратной ссылкой.

Три компании явно разделили эти два семейства на отдельные user-agent, и именно этого большинство сайтов не замечает. OpenAI использует GPTBot для обучения и OAI-SearchBot для индексации в ChatGPT Search. Anthropic использует ClaudeBot для обучения и Claude-SearchBot для индексации. Google использует Google-Extended как механизм отказа от обучения и grounding Gemini — это не самостоятельный краулер, и он никак не влияет на ранжирование в Поиске.

Есть и третий, менее известный слой: получение страницы в реальном времени по инициативе человека. Когда кто-то вставляет ссылку в ChatGPT и просит краткое изложение, запрос приходит от ChatGPT-User, а не от GPTBot. У Anthropic это Claude-User; у Perplexity — Perplexity-User. Эти боты не строят индекс и ничего не обучают — они обслуживают человека, который уже запросил вас.

Таблица: кто есть кто и чего стоит блокировка

Googlebot — случай, который нельзя разделить

Google не отделяет сканирование, питающее обычные результаты поиска, от сканирования, питающего AI Overviews и AI Mode. И то и другое — Googlebot, и оба опираются на один и тот же индекс. Заблокировать Googlebot, чтобы «остаться вне ИИ», значит уйти из Google целиком. Google-Extended управляет только отдельным слоем обучения и grounding Gemini и не удаляет вас из Поиска.

Практический вывод прост: что касается Google, решение уже принято за вас. Единственный вопрос, оставшийся в ваших руках, — как читается ваша страница, когда система генерирует из неё ответ, и это вопрос структуры и содержания, а не разрешений. Подробно я разбираю это в статье об измерении видимости в ИИ-движках ответов.

Cloudflare добавляет цифру, которая объясняет, почему классификация трудна в принципе: краулеры смешанного назначения, объединяющие поиск, агентское использование и обучение под одним user-agent, составляют более 36% активности краулеров в их сети. Иначе говоря, более трети автоматизированного трафика, доходящего до вас, нельзя чисто разложить по целям.

Кто на самом деле соблюдает robots.txt

robots.txt — это просьба, а не механизм принуждения. Сервер, получивший запрос от user-agent, который заявил, что игнорирует этот файл, всё равно отдаёт контент. Это не теоретический сценарий: документация OpenAI указывает, что правила robots.txt могут не применяться к ChatGPT-User, поскольку запрос следует за явным действием человека. Документация Perplexity говорит примерно то же о Perplexity-User, отмечая, что он, как правило, не следует robots.txt по той же причине. Anthropic заявляет, что все три её бота его соблюдают.

Логика такого поведения в том, что запрос считается действием человека, а не сканированием. С логикой можно спорить, но на практике относитесь к ней как к операционному факту: если вам нужна блокировка, которая действительно работает, robots.txt — не тот инструмент. Инструмент находится на уровне CDN или файрвола — Cloudflare, Fastly или правило WAF по user-agent и диапазону IP.

Соотношение сканирований к переходам — почему обмен больше не симметричен

Утверждение, что сканирование окупается обратным трафиком, исторически верно и численно ошибочно. В анализе Cloudflare от 28 августа 2025 года отношение просканированных страниц к одному обратному переходу составляло примерно 50 000 к 1 у Anthropic, 887 к 1 у OpenAI и 118 к 1 у Perplexity. Для традиционного Google Поиска это отношение выражается однозначным числом.

Эти цифры не поддерживают один-единственный вывод. Они говорят, что старая сделка — вы даёте контент, движок присылает посетителей — больше не описывает происходящее на уровне обучения. Они не говорят, что видимость в движках ответов ничего не стоит, потому что доходящие переходы в среднем конвертируются лучше обычного поискового трафика: пользователь приходит после того, как система уже отфильтровала за него и назвала вас по имени.

Три рабочие позиции и кому какая подходит

Полная открытость. Никаких блокировок. Подходит маркетинговым сайтам, профессиональным услугам и B2B, которые продают через доверие и экспертизу. Ваш контент — материал поддержки продаж, а не сам актив; чем больше моделей вас знают, тем выше шанс, что одна из них вас упомянет. Единственная цена — трафик.

Избирательное разделение. Блокировать обучение, разрешить ответ. Подходит большинству сайтов со значимым оригинальным контентом: издания, исследования, базы знаний, продуктовая документация. Вы платите за слой, который возвращает вам пользователей, и не платите за тот, который не возвращает. Эту позицию я рекомендую по умолчанию.

Полная блокировка. Блокировать всё и обеспечивать это на уровне CDN. Подходит случаям, когда контент и есть продукт — архивы, платные базы данных, фотобанки — или когда действует договорное либо регуляторное обязательство. Учтите заранее, что вы отказываетесь от присутствия в движках ответов, а не только от обучения.

Пример robots.txt — избирательное разделение

Три замечания по этому файлу. Во-первых, блоки user-agent не суммируются: краулер читает только самый специфичный блок, который ему соответствует, поэтому ограничения под User-agent: * не действуют ни на одного бота, у которого есть собственный блок. Во-вторых, Allow: / технически избыточен — достаточно отсутствия запрета, — но он документирует намерение, и это чего-то стоит, когда через год файл прочитает кто-то другой. В-третьих, строки для Googlebot нет, и это сделано намеренно.

Как проверить, что это действительно работает

Тестеры robots.txt показывают, что написано в файле, а не что происходит на деле. Единственная проверка, которая имеет значение, — журнал доступа вашего сервера. Три вещи, которые стоит измерить через две недели:

1. Действительно ли заблокированные краулеры остановились. Отфильтруйте журнал по user-agent и сравните количество запросов до и после. Частичное падение означает, что правило не срабатывает.
2. Какой код ответа получают разрешённые краулеры. Именно здесь прячется самый частый сбой: файрвол, плагин безопасности или слой управления ботами возвращает 403 или челлендж легитимным ботам, хотя никто этого не настраивал. Файл разрешает; сервер блокирует.
3. Каков размер ответа. Ответ 200 весом 4 КБ вместо 60 КБ означает, что бот получил HTML-оболочку без содержимого — совершенно другая проблема, которую я разбираю отдельно в статье о том, что видит ИИ-агент, попадая на ваш сайт.

Последний пункт, который экономит впустую потраченные усилия: 10 июля 2026 года Google обновила официальную документацию, прямо указав, что Google Поиск не использует файлы llms.txt и игнорирует их. Если ваш план управления ботами начинался с создания llms.txt, переместите его в конец списка. Вреда он не приносит, но и не делает того, что обещает большинство руководств.

Часто задаваемые вопросы