¿Hay que añadir llms.txt a robots.txt?
Sergey Carp de Tágum, Cofundador / CTO
No. No existe ninguna directiva de robots.txt para llms.txt, así que no hay nada que añadir. El archivo se encuentra en su dirección estándar, example.com/llms.txt, igual que robots.txt se encuentra en example.com/robots.txt. Una línea que apunte a llms.txt dentro de robots.txt no ayudará a los asistentes de IA a descubrirlo.
Lo esencial
No. No existe ninguna directiva de robots.txt para llms.txt. Lo importante es que el archivo cargue bien y que los rastreadores de IA no tengan bloqueado su sitio.
Lo que sí determina robots.txt es si los rastreadores de IA pueden visitar su sitio web. Ahí es donde suelen esconderse los verdaderos problemas.
Checklist de llms.txt: qué comprobar
Antes de recurrir a un comprobador o validador de llms.txt, revise usted mismo estos puntos:
- el archivo se abre sin inicio de sesión ni redirecciones y devuelve un código de estado 200;
- se sirve como texto plano con codificación UTF-8, no como página HTML;
- sigue la estructura básica de Markdown: nombre de la empresa, breve descripción, secciones con enlaces;
- robots.txt no bloquea a los rastreadores de IA que quiere que lleguen a su sitio, como OAI-SearchBot, Claude-SearchBot o PerplexityBot;
- la protección contra bots de su servidor, firewall o CDN no está bloqueando en silencio a esos rastreadores;
- todos los enlaces del archivo llevan a una página que funciona.
Los validadores en línea pueden confirmar el formato y señalar enlaces rotos, pero no pueden decirle si los datos del archivo están actualizados ni si los rastreadores de IA consiguen realmente acceder. Eso lo muestran los registros (logs) de su servidor.
El error más común
Un llms.txt cuidadosamente redactado en un sitio web cerrado a los rastreadores de IA. En ese caso el archivo no sirve de nada: un asistente de IA no puede abrirlo, y tampoco puede abrir las páginas a las que enlaza. Tenga en cuenta, además, que llms.txt se propuso en 2024 y que los principales proveedores de IA no han confirmado oficialmente que lo utilicen, así que el acceso de los rastreadores y unas páginas claras importan mucho más que el propio archivo.
Si no está seguro de qué bots permitir, lea nuestra guía sobre qué rastreadores de IA dejar entrar en su sitio web.
En Posicionamiento en IA comprobamos el acceso de los rastreadores de IA, robots.txt y llms.txt en cada auditoría de visibilidad en IA, por 290 USD al mes, con las primeras 10 horas de trabajo incluidas. Agende una llamada.