El mapa de bots 2026: quien rastrea realmente tu sitio y que puedes bloquear sin riesgo

Bloquear «los bots de IA» como una sola categoria es el error caro de 2026. Bajo esa etiqueta se esconden dos familias completamente distintas: los rastreadores de entrenamiento, que se llevan tu contenido para entrenar un modelo y no devuelven nada, y los que buscan en el momento de responder, enviados en tiempo real para contestar la pregunta de un usuario, y que te citan por tu nombre en la respuesta. Envian user-agents distintos, asi que tres lineas en robots.txt bastan para separarlos. Segun el informe de Cloudflare del 1 de julio de 2026, el 52% de las solicitudes de rastreo son ya para entrenamiento de IA a junio de 2026, frente al 22% en la primavera de 2025, y por primera vez mas del 50% del trafico de internet no es humano. Si lo bloqueas todo, te borras de las respuestas; si no bloqueas nada, pagas ancho de banda por un entrenamiento que nunca te devuelve nada.

Dos familias, no una

La distincion que lo decide todo no es quien opera el bot, sino cuando se ejecuta. Un rastreador de entrenamiento trabaja segun sus propios ciclos, sin relacion con ningun usuario. Recopila texto para un corpus, y tu contenido se disuelve en los pesos del modelo sin fuente, sin credito y sin enlace. Un recolector en el momento de responder se comporta de forma completamente distinta: un usuario hizo una pregunta, el sistema decidio que tu pagina es relevante, y la solicitud sale ahora para leerla y citarla, con el nombre de tu marca y un enlace de vuelta.

Tres empresas han dividido explicitamente las dos familias en user-agents separados, y ese es precisamente el punto que la mayoria de los sitios pasa por alto. OpenAI opera GPTBot para entrenamiento y OAI-SearchBot para la indexacion en ChatGPT Search. Anthropic opera ClaudeBot para entrenamiento y Claude-SearchBot para indexacion. Google opera Google-Extended como control de exclusion para el entrenamiento y el anclaje de Gemini, un control que no es un rastreador por si mismo y que no afecta al posicionamiento en el Buscador.

Hay una tercera capa, menos conocida: la descarga en tiempo real iniciada por una persona. Cuando alguien pega un enlace en ChatGPT y pide un resumen, la solicitud llega de ChatGPT-User, no de GPTBot. En Anthropic es Claude-User; en Perplexity, Perplexity-User. Estos bots ni construyen un indice ni entrenan nada: atienden a un humano que ya te pidio de forma explicita.

La tabla: quien es quien y que te cuesta bloquearlo

Googlebot es el caso que no puedes dividir

Google no separa el rastreo que alimenta los resultados de busqueda ordinarios del rastreo que alimenta AI Overviews y AI Mode. Ambos son Googlebot, y ambos beben del mismo indice. Bloquear Googlebot para «quedarse fuera de la IA» significa salir de Google del todo. Google-Extended gobierna unicamente la capa separada de entrenamiento y anclaje de Gemini, y no te saca del Buscador.

La conclusion practica es sencilla: en lo que respecta a Google, la decision ya se tomo por ti. La unica pregunta que queda en tus manos es como se lee tu pagina cuando un sistema genera una respuesta a partir de ella, y esa es una cuestion de estructura y sustancia, no de permisos.

Quien respeta realmente robots.txt

robots.txt es una peticion, no un mecanismo de aplicacion. Un servidor que recibe una solicitud de un user-agent que ha declarado que ignora el archivo sigue entregando el contenido. No es un escenario teorico: la propia documentacion de OpenAI afirma que las reglas de robots.txt pueden no aplicarse a ChatGPT-User, porque la solicitud sigue a una accion explicita de un usuario humano. La documentacion de Perplexity dice practicamente lo mismo sobre Perplexity-User, senalando que en general no sigue robots.txt por la misma razon. Anthropic declara que sus tres bots si lo respetan.

El razonamiento detras de ese comportamiento es que la solicitud cuenta como una accion humana y no como un rastreo. Puedes discutir el razonamiento, pero en la practica conviene tratarlo como un hecho operativo: si quieres un bloqueo que se aplique de verdad, robots.txt no es la herramienta. La herramienta esta en la capa del CDN o del cortafuegos: Cloudflare, Fastly o una regla de WAF basada en user-agent y rango de IP.

Ratios de rastreo por referencia: por que el intercambio ya no es simetrico

La afirmacion de que el rastreo se paga solo con trafico de vuelta es historicamente cierta y numericamente falsa. En el analisis de Cloudflare del 28 de agosto de 2025, la proporcion de paginas rastreadas por cada referencia de vuelta era de aproximadamente 50.000 a 1 para Anthropic, 887 a 1 para OpenAI y 118 a 1 para Perplexity. Para el Buscador tradicional de Google la proporcion esta en un solo digito.

Esos numeros no respaldan una unica conclusion. Dicen que el viejo trato (tu aportas contenido, el motor te envia visitantes) ya no describe lo que ocurre en la capa de entrenamiento. No dicen que la visibilidad en los motores de respuestas no valga nada, porque las referencias que si llegan convierten mejor en promedio que el trafico de busqueda ordinario: el usuario llega despues de que el sistema ya haya filtrado por el y te haya recomendado por tu nombre.

Tres posturas viables, y a quien le sirve cada una

Completamente abierto. Sin ningun bloqueo. Sirve a sitios de marketing, servicios profesionales y B2B que venden por confianza y experiencia. Tu contenido es material de apoyo a la venta, no el activo en si; cuantos mas modelos te conozcan, mayores las probabilidades de que alguno te mencione. El unico coste es el ancho de banda.

Separacion selectiva. Bloquear el entrenamiento, permitir la respuesta. Sirve a la mayoria de los sitios con contenido original significativo: medios, investigacion, bases de conocimiento, documentacion de producto. Pagas por la capa que te devuelve usuarios y no por la que no lo hace. Es la postura que recomiendo por defecto.

Bloqueo total. Bloquearlo todo y aplicarlo en el CDN. Sirve para casos en los que el contenido es el producto (archivos, bases de datos de pago, bancos de imagenes) o cuando existe una obligacion contractual o regulatoria. Debes saber de entrada que estas renunciando a la presencia en los motores de respuestas, no solo al entrenamiento.

Un robots.txt de ejemplo: separacion selectiva

Tres notas sobre este archivo. Primera, los bloques de user-agent no se acumulan: un rastreador lee unicamente el bloque mas especifico que le corresponde, asi que las restricciones bajo User-agent: * no se aplican a ningun bot que tenga su propio bloque. Segunda, Allow: / es tecnicamente redundante, porque la ausencia de una prohibicion basta, pero documenta la intencion, y eso vale algo cuando otra persona lea el archivo dentro de un ano. Tercera, no hay ninguna linea para Googlebot, y es deliberado.

Como verificar que funciona de verdad

Los validadores de robots.txt te muestran lo que dice el archivo, no lo que ocurre. La unica verificacion que cuenta es el registro de acceso de tu servidor. Tres cosas que vale la pena medir dos semanas despues:

Si los rastreadores bloqueados pararon de verdad. Filtra el registro por user-agent y cuenta solicitudes antes y despues. Una caida parcial significa que la regla no esta coincidiendo.

Que codigo de respuesta reciben los rastreadores permitidos. Aqui se esconde el fallo mas comun: un cortafuegos, un plugin de seguridad o una capa de gestion de bots devuelve 403 o un desafio a bots legitimos sin que nadie lo haya configurado. El archivo permite; el servidor bloquea.

Que tamano tiene la respuesta. Un 200 que lleva 4KB en lugar de 60KB significa que el bot recibio un cascaron HTML sin contenido, un problema completamente distinto.

Un ultimo punto que ahorra esfuerzo desperdiciado: el 10 de julio de 2026 Google actualizo su documentacion oficial para declarar de forma explicita que el Buscador de Google no utiliza los archivos llms.txt y los ignora. Si tu plan de gestion de bots empezaba por crear un llms.txt, muevelo al final de la lista. No hace dano, pero tampoco hace lo que prometen la mayoria de las guias.

Preguntas frecuentes