GPTBot, ClaudeBot, PerplexityBot: Welche KI-Crawler Sie zulassen und welche Sie sperren sollten

Diese Geschichte erleben wir bei KI-Sichtbarkeitsaudits ständig. Ein Unternehmen investiert ein Jahr lang in Content: Fachartikel, überarbeitete Leistungsseiten, ein ordentlicher FAQ-Bereich. Trotzdem taucht es in den Antworten von ChatGPT oder Perplexity nie auf. Wir öffnen die robots.txt und finden eine Regel, die alle „unbekannten“ Bots sperrt – vor Jahren eingetragen, um Scraper abzuwehren. Oder die robots.txt ist in Ordnung, aber der Bot-Schutz des CDN oder eine Geo-Sperre weist Anfragen aus ausländischen Rechenzentren ab, und die Crawler von OpenAI bleiben draußen. Die Website existiert, der Content existiert – aber für mehrere KI-Assistenten ist er schlicht nicht vorhanden.

Auch das Gegenteil kommt vor. Ein Inhaber erfährt, dass GPTBot seine Artikel für das Modelltraining herunterlädt, und sperrt aus Ärger sämtliche KI-Crawler auf einmal – auch die, die ihm Kunden bringen. Sehen wir uns an, welche KI-Crawler es gibt, worin sich ein Trainings-Crawler von einem Such-Crawler unterscheidet und wie Sie den Zugriff so einrichten, dass Sie weder Ihren Content noch Ihre Kunden verlieren.

Warum die KI Ihre Website besuchen muss

Wenn jemand ChatGPT, Claude, Gemini oder Perplexity fragt: „Wer kann die Buchhaltung eines kleinen Onlineshops prüfen?“, erhält er eine KI-Antwort: einen fertigen Text mit Empfehlungen, Firmennamen und Links zu den Quell-Websites. In Chat-Assistenten erscheint die Antwort mit Quellenangaben direkt im Gespräch, bei Google als AI Overview über den regulären Suchergebnissen. Die Nutzer lesen die Antwort und treffen ihre Wahl oft direkt daraus.

Um diese Antwort zu schreiben, muss die KI Seiten lesen. Seiten werden von Programmen abgerufen, die Crawler oder Bots heißen. Jeder Crawler meldet sich beim Server mit einem Namen, dem User-Agent-String, und genau über diesen Namen erlauben oder sperren ihn die Regeln in der robots.txt. Kann der richtige Crawler eine Seite nicht öffnen, kann die KI sie nicht zitieren.

Drei Arten von KI-Crawlern: Training, Suche und Nutzeranfragen

Das Wichtigste vorab: „Den KI-Bot“ gibt es nicht. Große KI-Unternehmen betreiben mehrere, und jeder hat eine andere Aufgabe.

• Trainings-Crawler sammeln Texte, die zum Training künftiger Modelle verwendet werden können. Wer sie sperrt, hält seinen Content aus dem „Gedächtnis“ des Modells heraus – auf die Echtzeitsuche hat das in der Regel keinen Einfluss.
• Such-Crawler indexieren Seiten, damit die KI sie finden und in Antworten zitieren kann. Sperren Sie diese, verschwindet Ihre Website aus Antworten mit Quellenangaben.
• Nutzergesteuerte Abrufe öffnen eine bestimmte Seite, wenn jemand im Chat bittet: „Schau dir mal diese Website an“, oder wenn der Assistent beim Antworten eine Seite prüfen muss. Das ist kein massenhaftes Crawling, sondern eine einzelne Aktion im Auftrag eines Nutzers.

Für eine Unternehmenswebsite ist die Logik einfach. Such-Crawler und nutzergesteuerte Abrufe sollten Sie fast immer zulassen: Sie bringen Erwähnungen und Besuche. Trainings-Crawler können Sie zulassen oder sperren – das ist eine Grundsatzentscheidung des Unternehmens, keine Marketingfrage.

Liste der KI-Crawler: Wer ist wer?

Namen und Aufgaben der Crawler ändern sich von Zeit zu Zeit: Die Unternehmen führen neue Bots ein und präzisieren, was die bestehenden tun. Unten sehen Sie den Stand zum Zeitpunkt der Veröffentlichung. Bevor Sie etwas konfigurieren, prüfen Sie die Dokumentation für Website-Betreiber, die jedes Unternehmen veröffentlicht.

Ein Hinweis zu Google: Google-Extended ist kein Bot, der Ihre Website besucht, sondern ein Token, das Sie in der robots.txt verwenden. Das Crawling übernimmt weiterhin der Googlebot; das Token teilt Google nur mit, ob Ihr Content für Training und Grounding von Gemini genutzt werden darf. Auf die Google-Suche wirkt es sich nicht aus. AI Overviews basieren auf dem Index der Google-Suche – per Google-Extended können Sie sich also nicht davon abmelden, und wer den Googlebot sperrt, verlässt die Google-Suche komplett.

Ein Hinweis zu nutzergesteuerten Abrufen: KI-Unternehmen stufen Bots, die eine Seite auf direkte Bitte eines Menschen öffnen, teils als Handlung des Nutzers statt als automatisiertes Crawling ein. Für sie können robots.txt-Regeln daher anders gelten als für normale Crawler. Perplexity-User ist ein Beispiel dafür. Wenn Sie genau diese Art von Zugriff einschränken müssen, prüfen Sie die aktuelle Dokumentation des jeweiligen Unternehmens und erwägen Sie Regeln auf Serverebene.

GPTBot: sperren oder nicht?

GPTBot ist die Frage, die wir am häufigsten hören, weil er der bekannteste KI-Crawler ist. Der entscheidende Punkt: GPTBot ist für das Training zuständig, nicht für Antworten mit Quellenangaben in ChatGPT. Die Suche übernimmt OAI-SearchBot, das Öffnen von Seiten auf Nutzerwunsch ChatGPT-User. Den Rest des Bildes rund um ChatGPT beschreiben wir in unserem Leitfaden So empfiehlt die ChatGPT-Suche Ihr Unternehmen.

Damit bleiben drei bewusste Optionen:

• Alle zulassen. Richtig für die meisten Dienstleister und Onlineshops: Je mehr die KI über Ihr Unternehmen weiß, desto besser. Solche Websites enthalten selten einzigartige Daten, die geschützt werden müssten.
• Training sperren, Suche zulassen. Passt für Verlage, Anbieter kostenpflichtiger Inhalte und Inhaber einzigartiger Datenbanken oder Methoden. GPTBot, ClaudeBot und Google-Extended werden gesperrt, Such-Crawler und nutzergesteuerte Abrufe zugelassen.
• Alles außer der klassischen Suche sperren. Kann für geschlossene Unternehmensportale sinnvoll sein. Für eine Website, die Kunden gewinnen soll, ist es fast immer ein Fehler.

In Ihren Server-Logs ist der User-Agent von GPTBot ein String, der das Wort GPTBot und einen Link zu einer Seite mit der Beschreibung des Crawlers enthält. Jedes Skript kann diesen String fälschen. Prüfen Sie Anfragen im Zweifel daher anhand der veröffentlichten IP-Bereiche – OpenAI und andere KI-Unternehmen stellen sie bereit.

KI-Crawler in der robots.txt sperren: Beispiele

In allen Beispielen ist example.com ein Platzhalter; ersetzen Sie die internen Bereiche (Kundenkonto, Warenkorb, Seitensuche) durch Ihre eigenen.

Beispiel 1. Alle zulassen, interne Bereiche sperren

User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Die einfachste Variante. Es gibt keine eigenen Gruppen für KI-Crawler, daher folgen alle der allgemeinen Gruppe mit dem Sternchen.

Beispiel 2. Training sperren, Suche und Nutzeranfragen zulassen

# Trainings-Crawler: gesperrt
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Such-Crawler und nutzergesteuerte Abrufe: zugelassen, außer interne Bereiche
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /account/
Disallow: /cart/
Disallow: /search/

# Alle anderen, einschließlich Googlebot, Bingbot und YandexBot
User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Hier steckt ein technisches Detail, bei dem die meisten Fehler passieren. Ein Crawler sucht in der robots.txt nach einer Gruppe mit seinem eigenen Namen – und findet er eine, ignoriert er die allgemeine Sternchen-Gruppe. Deshalb müssen die Regeln für interne Bereiche in jeder benannten Gruppe wiederholt werden. Sonst ist der Kontobereich für alle gesperrt außer für OAI-SearchBot.

Beispiel 3. Ein häufiger Fehler

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

So sieht „alle sperren außer Google“ aus. Die Website bleibt in Google, ist aber für die Crawler hinter ChatGPT, Claude und Perplexity komplett gesperrt – und für Bingbot, also auch für Copilot. Solche Dateien begegnen uns regelmäßig, und die Inhaber wissen meist nicht einmal mehr, dass es sie gibt.

Und was ist mit llms.txt in der robots.txt?

Für llms.txt gibt es keine robots.txt-Direktive, Sie müssen die Datei also nicht eintragen: Sie wird unter ihrer Standardadresse gefunden, example.com/llms.txt. Achten Sie nur darauf, dass die robots.txt den Zugriff darauf nicht sperrt. Was in die Datei selbst gehört, erklären wir in unserem vollständigen Leitfaden zu llms.txt.

Firewalls, CDNs und Bot-Schutz: die unsichtbare Sperre

Die robots.txt ist eine Bitte, kein Schloss. Das eigentliche Schloss sitzt auf Ihrem Server oder davor – und es hält oft genau die Bots auf, die Sie hereinlassen wollten. Die häufigsten Ursachen:

• Schalter „KI-Bots blockieren“ im CDN. Manche CDNs und Sicherheitsdienste bieten eine Ein-Klick-Einstellung, die bekannte KI-Crawler sperrt, und bei neuen Projekten ist sie mitunter standardmäßig aktiv. Solche Schalter unterscheiden nicht immer zwischen Trainings- und Such-Crawlern.
• DDoS-Schutz und Browser-Challenges. Ein Crawler kann keine JavaScript-Challenge und kein CAPTCHA lösen und erhält statt Ihres Contents eine Prüfseite.
• Geo-Sperren. Unternehmen, die nur ein Land bedienen, sperren manchmal den Traffic aus allen anderen Ländern. KI-Crawler laufen meist aus Rechenzentren in anderen Ländern und werden ebenfalls abgewiesen.
• Rate Limiting. Ein Crawler, der mehrere Seiten nacheinander abruft, stößt an das Limit und erhält den Statuscode 429.
• Web Application Firewalls und Sicherheits-Plugins. Sicherheitsmodule in WordPress und anderen CMS sowie Firewalls auf Hosting-Ebene sperren „verdächtige“ User-Agents anhand eigener Listen.

Die Lösung ist nicht, den Schutz abzuschalten, sondern die richtigen Crawler auf die Allowlist zu setzen – idealerweise geprüft anhand ihrer veröffentlichten IP-Bereiche statt nur über den Namen. So kommt der echte Crawler durch, ein Bot, der sich als GPTBot ausgibt, aber nicht.

Server-Logs prüfen: Wer kommt und was bekommt er?

Die einzige verlässliche Quelle der Wahrheit ist Ihr Server-Access-Log. Es erfasst jede Anfrage: URL, Statuscode und User-Agent. Hier einige Befehle für einen Linux-Server mit nginx. Der Log-Pfad kann auf Ihrem Server abweichen.

# Wie viele Anfragen GPTBot gestellt hat
grep -ci "GPTBot" /var/log/nginx/access.log

# Welche Statuscodes OAI-SearchBot erhält
grep -i "OAI-SearchBot" /var/log/nginx/access.log | cut -d' ' -f9 | sort | uniq -c

# Welche Seiten PerplexityBot abgerufen hat
grep -i "PerplexityBot" /var/log/nginx/access.log | cut -d' ' -f7 | sort | uniq -c | sort -rn | head -20

So lesen Sie die Ergebnisse:

• Gar keine Anfragen: Der Crawler war noch nicht da, oder er wird schon vor Ihrem Server auf CDN-Ebene gesperrt. Prüfen Sie Ihre CDN-Logs.
• Statuscode 200: Alles in Ordnung, der Crawler bekommt Ihre Seiten.
• Statuscodes 403, 429 oder 503: Der Crawler kommt an, wird aber abgewiesen. Suchen Sie die Ursache in Ihren Schutzeinstellungen.
• Viele 301- und 404-Codes: Der Crawler verschwendet Zeit mit Weiterleitungen und defekten Links. Zeit zum Aufräumen.

Haben Sie keinen Serverzugriff, etwa bei einem gehosteten Website-Baukasten, helfen die Crawling-Berichte in der Google Search Console und in Bing Webmaster Tools zum Teil weiter – über KI-Crawler verraten sie allerdings nichts. Wenden Sie sich in diesem Fall an den Support Ihrer Plattform.

Zugriff Schritt für Schritt einrichten

Der Crawler-Zugriff ist der erste Abschnitt unserer Checkliste zur KI-Suchmaschinenoptimierung. Ohne ihn spielt alles andere auf der Liste keine Rolle.

Das Ergebnis: Ihre Website ist offen für die Bots, die Kunden bringen

Ist der Zugriff eingerichtet, wird die Lage beherrschbar. Such-Crawler erhalten Seiten mit Statuscode 200, interne Bereiche sind für alle gesperrt, die Entscheidung über das Modelltraining ist bewusst getroffen und in der robots.txt festgehalten, und Ihr Schutz lässt verifizierte Crawler durch, während er gefälschte aufhält. Einen Platz in KI-Antworten garantiert das nicht – aber es beseitigt den ärgerlichsten Grund, dort zu fehlen: „Sie kamen einfach nicht hinein.“

Wie wir den Zugriff von KI-Crawlern und alles andere übernehmen

KI-Suchmaschinenoptimierung ist seit 2002 im SEO tätig. Wir haben über 100 Kunden weltweit, Zertifizierungen von Google und Yandex und ein Team, das Ihre Website und Ihre KI-Sichtbarkeit komplett aus einer Hand betreut. Wir optimieren für Google AI Overviews und AI Mode, ChatGPT, Gemini, Claude, Perplexity, Microsoft Copilot und weitere KI-Assistenten – für Unternehmen in New York City und auf internationalen Märkten.

Die Einrichtung des Zugriffs für KI-Crawler ist Teil der technischen Optimierung der Website. Die komplette Leistung umfasst:

• ein KI-Sichtbarkeitsaudit: robots.txt, Serverschutz, Logs und was KI-Assistenten über Sie und Ihre Wettbewerber sagen;
• Prompt-Recherche: die Fragen, die Ihre Kunden KI-Assistenten stellen;
• technische Optimierung der Website: Zugriff für KI-Crawler, llms.txt, Schema-Markup, Ladegeschwindigkeit, Fehler;
• neuen Content, der für KI-Antworten aufgebaut ist;
• Markenerwähnungen auf externen Websites;
• Veröffentlichung von Artikeln in externen Quellen, um die Autorität Ihres Unternehmens und seiner Experten zu stärken;
• laufendes KI-Sichtbarkeits-Monitoring.

Die KI bewertet Ihre Website als Ganzes, deshalb betreuen wir vom ersten Tag an Ihre gesamte Website – von der technischen Optimierung bis zu GEO. Wir garantieren die Umsetzung der GEO-Aufgaben, die Fehlerbehebung und die schnelle Anpassung Ihrer Website an neue Anforderungen der KI-Suche, einschließlich neuer Crawler, sobald sie auftauchen.

Die Monatspauschale beträgt 290 $ pro Monat und enthält die ersten 10 Arbeitsstunden. Jede weitere Stunde kostet 45 $. GEO-Leistungen rechnen wir nach tatsächlichem Aufwand ab: Wir berechnen nur die im jeweiligen Monat erbrachten und abgenommenen Leistungen. Keine Rabatte, keine Gratismonate.

Vereinbaren Sie ein Gespräch. Wir finden heraus, welche Crawler Ihre Website gerade abweist, und öffnen sie für die KI-Assistenten, die Ihre Kunden tatsächlich nutzen.