Faut-il ajouter llms.txt dans robots.txt ?
Sergey Carp (Cauayan), Cofondateur / CTO
Non. Il n’existe aucune directive robots.txt pour llms.txt : il n’y a donc rien à ajouter. Le fichier se trouve à son adresse standard, example.com/llms.txt, de la même façon que robots.txt se trouve à example.com/robots.txt. Une ligne pointant vers llms.txt dans robots.txt n’aidera pas les assistants IA à le découvrir.
L’essentiel
Non : aucune directive robots.txt n’existe pour llms.txt. L’essentiel est que le fichier se charge bien et que les robots d’IA ne soient pas bloqués sur votre site.
Ce que robots.txt détermine en revanche, c’est si les robots d’IA ont le droit de visiter votre site. C’est là que se cachent généralement les vrais problèmes.
Check-list llms.txt : ce qu’il faut vérifier
Avant de recourir à un outil de vérification ou à un validateur llms.txt, passez vous-même ces points en revue :
- le fichier s’ouvre sans connexion ni redirection et renvoie un code de statut 200 ;
- il est servi en texte brut, encodé en UTF-8, et non comme une page HTML ;
- il suit la structure Markdown de base : nom de l’entreprise, courte description, sections avec des liens ;
- robots.txt ne bloque pas les robots d’IA que vous voulez laisser accéder à votre site, comme OAI-SearchBot, Claude-SearchBot ou PerplexityBot ;
- la protection anti-bots de votre serveur, de votre pare-feu ou de votre CDN ne bloque pas ces robots en silence ;
- chaque lien du fichier mène à une page qui fonctionne.
Les validateurs en ligne peuvent confirmer le format et signaler les liens cassés, mais ils ne peuvent pas vous dire si les faits du fichier sont à jour ni si les robots d’IA parviennent réellement jusqu’au site. Ce sont vos journaux serveur qui le montrent.
L’erreur la plus fréquente
Un fichier llms.txt soigneusement rédigé sur un site fermé aux robots d’IA. Dans ce cas, le fichier ne sert à rien : un assistant IA ne peut pas l’ouvrir, pas plus que les pages vers lesquelles il renvoie. Gardez aussi à l’esprit que llms.txt a été proposé en 2024 et que les grands fournisseurs d’IA n’ont pas officiellement confirmé l’utiliser : l’accès des robots et des pages claires comptent bien plus que le fichier lui-même.
Si vous ne savez pas quels robots autoriser, lisez notre guide sur les robots d’IA à laisser accéder à votre site.
Chez Référencement IA, nous vérifions l’accès des robots d’IA, le robots.txt et le llms.txt lors de chaque audit de visibilité IA, pour 290 $ par mois, 10 premières heures de travail incluses. Réservez un appel.