Muss llms.txt in die robots.txt eingetragen werden?
Sergey Carp aus Ormoc, Mitgründer / CTO
Nein. Für llms.txt gibt es keine robots.txt-Direktive – also gibt es auch nichts einzutragen. Die Datei wird unter ihrer Standardadresse example.com/llms.txt gefunden, genauso wie die robots.txt unter example.com/robots.txt. Eine Zeile in der robots.txt, die auf llms.txt verweist, hilft KI-Assistenten nicht dabei, die Datei zu entdecken.
Das Wichtigste in Kürze
Nein. Für llms.txt gibt es keine robots.txt-Direktive. Entscheidend ist, dass die Datei korrekt lädt und KI-Crawler Ihre Website nicht gesperrt vorfinden.
Was die robots.txt dagegen beeinflusst, ist, ob KI-Crawler Ihre Website überhaupt besuchen dürfen. Genau dort verstecken sich meist die eigentlichen Probleme.
Checkliste für llms.txt: Was Sie prüfen sollten
Bevor Sie zu einem llms.txt-Checker oder -Validator greifen, gehen Sie diese Punkte selbst durch:
- Die Datei öffnet sich ohne Login oder Weiterleitung und liefert den Statuscode 200;
- sie wird als reiner Text in UTF-8-Kodierung ausgeliefert, nicht als HTML-Seite;
- sie folgt der grundlegenden Markdown-Struktur: Firmenname, kurze Beschreibung, Abschnitte mit Links;
- die robots.txt sperrt nicht die KI-Crawler, die Ihre Website erreichen sollen, etwa OAI-SearchBot, Claude-SearchBot oder PerplexityBot;
- der Bot-Schutz auf Ihrem Server, in Ihrer Firewall oder Ihrem CDN blockiert diese Crawler nicht stillschweigend;
- jeder Link in der Datei führt zu einer funktionierenden Seite.
Online-Validatoren können das Format bestätigen und defekte Links melden. Ob die Fakten in der Datei aktuell sind oder ob KI-Crawler tatsächlich durchkommen, können sie Ihnen nicht sagen. Das zeigen Ihre Server-Logs.
Der häufigste Fehler
Eine sorgfältig geschriebene llms.txt auf einer Website, die für KI-Crawler gesperrt ist. Dann ist die Datei nutzlos: Ein KI-Assistent kann sie nicht öffnen – und die darin verlinkten Seiten ebenso wenig. Bedenken Sie außerdem, dass llms.txt 2024 vorgeschlagen wurde und die großen KI-Anbieter nicht offiziell bestätigt haben, dass sie die Datei nutzen. Crawler-Zugang und klare Seiten sind daher weit wichtiger als die Datei selbst.
Wenn Sie unsicher sind, welche Bots Sie zulassen sollten, lesen Sie unseren Leitfaden Welche KI-Crawler Sie auf Ihre Website lassen sollten.
Bei KI-Suchmaschinenoptimierung prüfen wir Crawler-Zugang, robots.txt und llms.txt im Rahmen jedes KI-Sichtbarkeitsaudits – für 290 $ pro Monat inklusive der ersten 10 Arbeitsstunden. Vereinbaren Sie ein Gespräch.