Casi todo lo que se escribe sobre «preparar tu sitio para los agentes de IA» describe archivos que ningún proveedor documenta leer. Revisé la documentacion oficial de OpenAI, Anthropic, Perplexity, Google y Microsoft. El resultado: llms.txt, ninguna de estas empresas documenta leerlo desde sitios de terceros, y Google declara de forma explicita que su Buscador lo ignora. sitemap.xml, no aparece mencionado en ninguno de los tres documentos sobre bots. Marcado schema.org, Google escribe que no es obligatorio para sus funciones generativas. Y en el registro de IANA, de 152 entradas, no hay ningun registro para mcp, ai ni agent. Lo que si existe, y lo que si vale la pena hacer, esta mas abajo.
La lista corta de lo que si esta documentado
Hay una diferencia entre un archivo que existe y un archivo que alguien lee. Casi todas las guias sobre este tema mezclan ambas cosas, asi que arme una tabla que separa «existe como idea» de «tiene documentacion oficial del proveedor de que se lee».
| Mecanismo | Que esta documentado oficialmente | Vale el esfuerzo? |
|---|---|---|
| robots.txt | OpenAI, Anthropic y Perplexity documentan explicitamente que lo leen (con matices para las solicitudes iniciadas por el usuario) | Si. Es el unico mecanismo que todos los proveedores documentan |
| schema.org / JSON-LD | Google: no es obligatorio para las funciones generativas, pero ayuda a la elegibilidad para resultados enriquecidos | Si, pero por razones de SEO clasico |
| sitemap.xml | No se menciona en la documentacion de bots de OpenAI, Anthropic ni Perplexity | Si para Google. No como medida de «preparacion para IA» |
| llms.txt | Ningun proveedor documenta leerlo. Google declara que su Buscador lo ignora | No. Es inofensivo, pero no hace lo que se promete |
| /.well-known/ para IA | Solo agent-card.json (protocolo A2A) esta registrado en IANA. No hay registro para mcp/ai/agent | Relevante solo si operas un agente A2A |
| IndexNow | Microsoft afirma que ayuda a mantener el contenido actualizado en las experiencias de busqueda y de IA | Si, si tu contenido cambia |
llms.txt: todo el mundo publica uno, nadie documenta leerlo
Este archivo es una propuesta de Jeremy Howard, publicada el 3 de septiembre de 2024 y actualizada a la version 2 el 10 de agosto de 2026, descrita en su propio sitio como una propuesta de estandarizacion. No esta en ninguna via de estandarizacion del IETF, el W3C ni el WHATWG: una busqueda en el Datatracker del IETF no devuelve ningun borrador relevante. El propio sitio de la propuesta menciona el RFC 8615 como alternativa que se considero y no se adopto.
Aqui esta la confusion central con la que me topo una y otra vez: OpenAI, Anthropic y Perplexity si publican un archivo llms.txt para su propia documentacion para desarrolladores. Eso es un hecho y es facil de comprobar. Pero publicar un archivo y leer los archivos de otros son dos acciones completamente distintas, y ninguna de estas empresas documenta la segunda. Lei las tres paginas oficiales de rastreadores: la cadena llms.txt no aparece en ninguna de ellas.
Google es el unico proveedor que ha abordado esto directamente. En su guia de optimizacion para funciones generativas, en una pagina actualizada el 10 de julio de 2026, hay una seccion de mitos que nombra llms.txt de forma explicita, con el argumento de que el propio Buscador de Google no los utiliza. En esa misma seccion Google agrega que crear el archivo no perjudicara ni ayudara a la visibilidad ni al posicionamiento de tu sitio.
schema.org: no es obligatorio, y aun asi vale la pena
Este es el punto que mas sorprende. Esa misma guia de Google del 10 de julio de 2026 tiene una seccion entera titulada «Enfocarse demasiado en los datos estructurados», que afirma que los datos estructurados no son obligatorios para la busqueda generativa con IA y que no existe ningun marcado schema.org especial que haga falta agregar. La pagina paralela sobre funciones de IA, actualizada el 10 de diciembre de 2025, hace la misma afirmacion con otras palabras: no necesitas crear archivos legibles por maquina nuevos ni marcado dedicado.
Y sin embargo Google sigue recomendando usar datos estructurados, no por la IA, sino por la elegibilidad para resultados enriquecidos, que es una excelente razon por si sola. La recomendacion adicional que es directamente relevante aqui es asegurarte de que tus datos estructurados coincidan con el texto visible de la pagina. Un schema que declara algo que la pagina no dice es un pasivo, no una ventaja.
La conclusion practica: si tienes schema valido, perfecto, mantenlo. Si no lo tienes, agregalo porque ayuda a los resultados enriquecidos, no porque alguien te haya prometido que te mete en las respuestas de ChatGPT.
sitemap.xml: la suposicion sin fuente
«Envia un sitemap para que los rastreadores de IA te encuentren» es una de las recomendaciones mas repetidas que hay, y no logre encontrar una sola fuente primaria que la respalde. La pagina de bots de OpenAI habla unicamente de robots.txt y rangos de IP. El articulo del rastreador de Anthropic habla de robots.txt y Crawl-delay. La pagina del rastreador de Perplexity no menciona sitemaps en absoluto.
Esto no significa que no lean sitemaps: significa que nadie ha dicho que lo hagan. La distincion importa, porque determina cuanto esfuerzo vale la pena invertir. Un sitemap.xml es lo minimo indispensable para Google, asi que deberias tener uno valido de todos modos. Pero si estas construyendo un plan de trabajo entero alrededor del sitemap como «infraestructura para agentes de IA», estas construyendo sobre una suposicion que nadie ha confirmado.
/.well-known/ : que esta registrado de verdad y que no
El registro de URIs well-known de IANA es la unica fuente de verdad sobre lo que existe. En su ultima actualizacion, del 19 de agosto de 2026, contiene 152 entradas. Lo que importa para el mundo de los agentes:
agent-card.json esta registrado, es permanente, bajo control de cambios de la Linux Foundation, y apunta a la especificacion del protocolo A2A. Es la unica entrada que concierne directamente a los agentes. oauth-protected-resource (RFC 9728) y oauth-authorization-server (RFC 8414) estan registrados, y son relevantes porque MCP construye su capa de autorizacion sobre ellos. En cambio mcp, ai, agent, ai-plugin y llm no estan registrados.
En cuanto a /.well-known/ai-plugin.json, de la era de los plugins de ChatGPT: ese mecanismo ya no existe. La pagina de documentacion original ahora redirige a una pagina que no existe, y lo que lo reemplazo son los servidores MCP y el Apps SDK, sin ninguna ruta well-known.
MCP no se puede descubrir desde un sitio web, todavia
Este es el punto que mas importa si estas planificando a futuro. La especificacion actual del Model Context Protocol es la version 2026-07-28, y no contiene ningun mecanismo para descubrir un servidor MCP desde un sitio web. Lo que si existe es server/discover, que le pregunta a un servidor que versiones del protocolo soporta, un mecanismo que asume que ya conoces la direccion del servidor. La unica ruta well-known de la especificacion pertenece a OAuth, y solo entra en juego despues del descubrimiento.
En la practica esto significa que hay una brecha de infraestructura abierta entre «mi sitio es legible para un agente» y «un agente puede descubrir que le permite hacer mi sitio». Precisamente por eso estoy trabajando en la especificacion AX: una capa de descubrimiento uniforme que permita a un sitio declarar que le ofrece a un agente. Pero mientras no haya un estandar acordado, la recomendacion honesta es no inventar una ruta privada y esperar que alguien la lea.
IndexNow: la excepcion de Microsoft
Lo unico que un proveedor grande si recomienda explicitamente en un contexto de IA es IndexNow. En la publicacion de Bing Webmaster del 10 de febrero de 2026 que presento el nuevo informe de rendimiento de IA hay una seccion dedicada que explica que IndexNow ayuda a mantener la informacion actualizada en las experiencias de busqueda y de IA. El protocolo en si es abierto y gratuito, y la implementacion es una unica llamada HTTP por URL actualizada.
Una distincion que vale la pena senalar: la documentacion para desarrolladores de Bing no menciona llms.txt en absoluto. Las recomendaciones sobre schema en un contexto de respuestas de IA aparecen en el blog de Microsoft Advertising, que es contenido de marketing y no documentacion tecnica: un peso probatorio distinto.
Un orden de prioridades practico
Tres lineas que te diran que expone tu sitio hoy:
for f in robots.txt sitemap.xml llms.txt .well-known/security.txt; do
printf «%-28s » «$f»
curl -sI «https://example.com/$f» | head -1
done
# Lleva la pagina datos estructurados?
curl -s https://example.com/pagina/ | grep -c ‘application/ld+json’
Una vez que lo hayas comprobado, este es el orden que recomiendo. Primero, un robots.txt correcto que separe los rastreadores de entrenamiento de los que buscan en el momento de responder: lo desglose en el mapa de bots de 2026. Segundo, verificar que tu contenido llega de verdad al HTML inicial, porque sin eso nada mas importa: la prueba esta en lo que un agente de IA recibe realmente. Tercero, schema valido que coincida con el texto visible. Cuarto, IndexNow si tu contenido cambia. Y quinto, solo quinto, llms.txt, si sobra tiempo.
Lo interesante de ese orden es lo mucho que se parece al SEO tecnico clasico. No es casualidad: a dia de hoy, la mayor parte de lo que hace que un sitio sea legible para un agente es el mismo conjunto de cosas que lo hace legible para un motor de busqueda. Los archivos especiales son la promesa; los fundamentos son lo que funciona.
Preguntas frecuentes
Deberia crear un archivo llms.txt?
No hace dano, pero no hay ninguna fuente primaria que respalde la afirmacion de que mejora la visibilidad. Ninguna de las grandes empresas documenta leerlo desde sitios de terceros, y Google declara de forma explicita que su Buscador lo ignora. Si te sobra tiempo, adelante. Si tienes que elegir, hay cosas mas importantes.
Por que OpenAI y Anthropic publican su propio llms.txt?
Para que los agentes que leen su documentacion puedan navegarla. Publicar un archivo no es un compromiso de leer archivos asi de otros sitios, y ninguna de las dos empresas documenta ese otro lado.
Necesito schema.org para aparecer en las respuestas de IA de Google?
No. Google escribe que los datos estructurados no son obligatorios para la busqueda generativa con IA y que no hay ningun marcado schema.org especial que agregar. Si recomienda seguir usandolos por la elegibilidad para resultados enriquecidos, y asegurarse de que coincidan con el texto visible de la pagina.
Existe una ruta well-known para descubrir un servidor MCP?
No. El registro de IANA no tiene ninguna entrada para mcp, y la especificacion de MCP version 2026-07-28 no contiene ningun mecanismo de descubrimiento basado en sitios web. La unica ruta well-known de la especificacion pertenece a OAuth, y solo aplica una vez que ya se conoce la direccion del servidor. La unica entrada relacionada con agentes es agent-card.json, del protocolo A2A.
Que vale la pena hacer hoy realmente?
Un robots.txt que separe los rastreadores de entrenamiento de los que buscan al responder, contenido que exista en el HTML inicial, schema valido que coincida con el texto visible, e IndexNow si tu contenido se actualiza. Esas son las cuatro cosas que tienen una fuente oficial detras.
- El mapa de bots 2026: quien rastrea realmente tu sitio y que puedes bloquear sin riesgo
- Sin JavaScript: lo que un agente de IA recibe realmente al solicitar tu sitio
- Como escribir una pagina que un agente de IA pueda citar de verdad
- De leer a hacer: que hace falta para que un agente de IA complete una tarea en tu sitio