É preciso adicionar o llms.txt ao robots.txt?
Sergey Carp de Nova Iorque, Cofundador / CTO
Não. Não existe diretiva de robots.txt para o llms.txt, então não há nada a acrescentar. O arquivo é encontrado no seu endereço padrão, exemplo.com/llms.txt, do mesmo jeito que o robots.txt é encontrado em exemplo.com/robots.txt. Uma linha apontando para o llms.txt dentro do robots.txt não vai ajudar os assistentes de IA a descobri-lo.
O essencial
Não. Não existe diretiva de llms.txt no robots.txt. O que importa é o arquivo carregar corretamente e os rastreadores de IA não estarem bloqueados no seu site.
O que o robots.txt realmente afeta é se os rastreadores de IA podem visitar o seu site. É aí que costumam se esconder os problemas de verdade.
Um checklist de llms.txt: o que verificar
Antes de recorrer a um verificador ou validador de llms.txt, passe você mesmo por estes pontos:
- o arquivo abre sem login nem redirecionamento e retorna o código de status 200;
- ele é servido como texto puro em codificação UTF-8, e não como uma página HTML;
- ele segue a estrutura básica em Markdown: nome da empresa, descrição curta, seções com links;
- o robots.txt não bloqueia os rastreadores de IA que você quer no seu site, como OAI-SearchBot, Claude-SearchBot ou PerplexityBot;
- a proteção contra bots no seu servidor, firewall ou CDN não está bloqueando esses rastreadores em silêncio;
- cada link dentro do arquivo leva a uma página que funciona.
Validadores on-line confirmam o formato e apontam links quebrados, mas não conseguem dizer se os fatos do arquivo estão atualizados nem se os rastreadores de IA estão de fato conseguindo passar. Quem mostra isso são os logs do seu servidor.
O erro mais comum
Um llms.txt escrito com todo o cuidado em um site fechado para os rastreadores de IA. Nesse caso o arquivo é inútil: o assistente de IA não consegue abri-lo, e também não consegue abrir as páginas para as quais ele aponta. Lembre-se também de que o llms.txt foi proposto em 2024 e os grandes provedores de IA não confirmaram oficialmente que o utilizam, então o acesso dos rastreadores e páginas claras importam muito mais do que o arquivo em si.
Se você está em dúvida sobre quais bots liberar, leia o nosso guia sobre quais rastreadores de IA liberar no seu site.
Na Otimização para IA, conferimos o acesso dos rastreadores de IA, o robots.txt e o llms.txt em toda auditoria de visibilidade em IA, por 290 USD por mês, com as 10 primeiras horas de trabalho incluídas. Agende uma conversa.