Дешёвая дверь — это дверь для машин. Отдача полной HTML-страницы ИИ-краулеру стоит вам трафика и рендеринга — а при включённом Cloudflare Pay-Per-Crawl она стоит денег и самому краулеру. Ваша конечная точка AXS отвечает на тот же вопрос несколькими сотнями байт и бесплатно. Это руководство показывает, как выставить цену для каждой из двух дверей.
Полные страницы, скрипты, изображения. Дорого отдавать, медленно разбирать. За bot management или Pay-Per-Crawl: агенты, которые настаивают на скрейпинге, платят рыночную цену.
/wp-json/ax/v1/*, /llms.txt, /.well-known/ax.json — открыто, без проверок, без оплаты. Полные ответы в несколько сотен байт.
Агент, освоивший AXS, получает всё необходимое почти бесплатно. Никаких блокировок, никакого клоакинга — только честная цена двух дверей.
(http.request.uri.path contains "/wp-json/ax/v1/") or (http.request.uri.path eq "/llms.txt") or (http.request.uri.path eq "/.well-known/ax.json")/wp-json/ax/v1/x (ответы на конкретные запросы); короткий TTL — например, 5 минут — на /llms.txt and /.well-known/ax.json./x до 300 запросов в час на IP — отдельное правило Cloudflare не нужно.curl -s "https://your-site.com/wp-json/ax/v1/x?s=ax1%20q.svc%20n%3D3%20f%3Dt%2Cd"Вы должны получить мгновенный ответ AXS — без страницы проверки и без списания. Затем загрузите любую HTML-страницу с user-agent краулера и убедитесь, что срабатывает ваша бот-политика.
Эта настройка подключается по запросу, для клиентских сайтов, которые её просят. Сам rainz.ai и репозиторий ax-protocol остаются полностью открытыми для всех краулеров — эталонная реализация свободна для изучения через обе двери.
Плата с ИИ-агентов за доступ — это не одно решение, а выбор между тремя довольно разными схемами. За запрос — самая простая: фиксированная цена за каждое обращение, её легко считать и легко объяснить, но она плохо подходит краулеру, которому для ответа на один вопрос честно нужны сотни страниц. По подписке — даёт опознанному агенту определённый лимит на период, что подходит постоянным потребителям и обеспечивает предсказуемый доход, но требует управления идентификацией, которого у вас, возможно, пока нет. За результат — взимает плату, только когда агент совершает что-то ценное: бронирование, лид, конверсию; эта модель лучше всего согласует интересы сторон, но её труднее всего внедрить и легче всего оспорить.
Большинство сайтов, которые делают это правильно, начинают с оплаты за запрос на узком, ценном маршруте, изучают, как на самом деле выглядит трафик, и только потом решают, стоит ли строить модель подписки или оплаты за результат. Начинать с самой сложной модели — надёжный способ потратить три месяца на систему учёта для спроса, которого так и не возникло.
Плата за доступ — не чисто техническое решение. Сначала должны существовать три вещи: условия использования, которые прямо указывают, что можно и чего нельзя делать с контентом; механизм идентификации, отличающий платящего агента от анонимного; и путь самообслуживания, по которому готовая платить сторона может начать платить без разговора с человеком. Без всех трёх вы на практике внедрили блокировку, а не источник дохода.
Заранее решите, что делать с контентом, который уже просканирован. Плата, введённая сегодня, не отменяет того, что уже выучено, поэтому сайты, вся ценность которых лежит в старом архиве, обнаружат, что модель защищает их меньше, чем они надеялись. Плата хорошо работает там, где ценность в актуальности: меняющиеся данные, складские остатки, цены или контент, выходящий с постоянной периодичностью.
Крайне важно отделять ИИ-агентов, забирающих контент для немедленного потребления, от поисковых краулеров, которые взамен присылают вам трафик. Сплошная блокировка, не различающая их, способна разрушить органическую видимость, которую вы выстраивали годами, причём ущерб обнаруживается медленно, а откатывается ещё медленнее.
Практическое правило: определяйте политику по цели использования, а не по технологии, и оставляйте доступ бесплатным для всех, кто возвращает трафик или видимое указание источника. Эта же позиция с наибольшей вероятностью переживёт любое будущее регуляторное урегулирование: её можно защитить, её можно объяснить клиенту, и она не зависит от безошибочного опознания каждого клиента.
Есть случаи, когда честный ответ таков: плата обойдётся вам дороже, чем принесёт. Если ваша бизнес-модель держится на рекомендациях — профессиональные услуги, большинство B2B-продуктов, всё с длинным циклом принятия решения, — то агент, который читает ваш контент и рассказывает о вас потенциальному покупателю, делает маркетинг, за который вы иначе платили бы сами. Тарифицировать его — значит брать плату за вход в собственный шоурум.
Плата имеет смысл, когда контент сам является продуктом, а не рекламой продукта: наборы данных, справочные материалы, ценовые фиды, исследования, всё, что конкурент мог бы перепродать. Если вы не можете одной фразой сформулировать, что покупатель получает такого, чего не найдёт бесплатно в другом месте, рынок ответит на этот вопрос за вас, уйдя в другое место.
Вам не нужно выбирать между полностью бесплатным доступом и полной тарификацией. Разумный первый шаг — одно только измерение: понять, кто приходит, какие страницы им нужны и в каком объёме. Через месяц-другой накопленных данных можно выбрать один узкий маршрут, обычно самый дорогой участок сайта, и применить политику к нему. Если доход не появится или операционные издержки превысят выгоду, решение можно отменить без вреда. Вредна как раз обратная мера: сплошная блокировка, введённая до появления каких-либо данных, которая убирает видимость, выстраивавшуюся годами.
В каждом разговоре о плате за доступ агентов всплывают два возражения, и оба заслуживают прямого ответа. Первое: идентификация ненадёжна — строку user-agent можно подделать, и агент, решивший избежать оплаты, может представиться браузером. Это правда, и она означает, что тарификацию следует рассматривать как коммерческую договорённость со сторонами, которым нужны стабильные отношения, а не как механизм принуждения для всех остальных. Выставлять счёт стоит тем, кто сам хочет получать счета, потому что им нужен надёжный доступ и они готовы за него платить.
Второе возражение: плата просто уводит агентов к конкуренту, который её не берёт. Тоже правда — и именно поэтому это вопрос ценообразования, а не техники. Если ваш контент заменим, тарификация ускорит замену. Если нет, рынок заплатит. Очень немногие владельцы сайтов честно проверили, какое из двух описаний относится к ним, и данные переписи обычно самый дешёвый способ это выяснить.