Blockiere den Trainer, nicht die Quelle deiner Zitate.
GPTBot trainiert. OAI-SearchBot zitiert. ChatGPT-User ruft ab, weil ein Besucher gerade gefragt hat. Wer sie in robots.txt in einen Topf wirft, verliert Sichtbarkeit, ohne etwas zu schützen.
Definition
KI-Crawler
Ein AI-Crawler ist ein automatisierter Bot, der Webseiten im Auftrag eines AI-Systems abruft. Es gibt drei Arten mit sehr unterschiedlichen Folgen: Trainings-Crawler, die Inhalte sammeln, um Modelle zu trainieren (GPTBot, ClaudeBot, CCBot), Such- und Grounding-Crawler, die den Index aufbauen, aus dem AI-Antworten zitieren (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot), und nutzerinitiierte Fetcher, die eine einzelne Seite abrufen, weil jemand gerade jetzt danach gefragt hat (ChatGPT-User, Claude-User, Perplexity-User). Steuern lassen sie sich über robots.txt, aber das letzte Wort hat deine Firewall.
Siehe auch: Von ChatGPT zitiert werdenllms.txtKI-SEOGenerative engine optimization
Warum der Unterschied zwischen diesen Bots zählt
Die meisten Blocking-Ratschläge werfen alles mit AI im Namen in eine Liste und setzen ein Disallow darunter. Das ist genau der falsche Schritt. Einen Trainings-Crawler zu sperren, schützt deine Inhalte davor, in einem Modell wiederverwendet zu werden. Einen Such-Crawler oder nutzerinitiierten Fetcher zu sperren, heißt, dass du nie wieder als Quelle in einer Antwort auftauchst. Dieselbe Direktive, das umgekehrte Ergebnis.
1. Ausbildung
OpenAI beschreibt GPTBot als den Crawler, der Inhalte sammelt, die seine Foundation Models trainieren können. Anthropic sagt dasselbe über ClaudeBot: er sammelt Webinhalte, die zum Training beitragen könnten. CCBot gehört zu Common Crawl, das kein AI-Unternehmen ist, aber das öffentliche Archiv, das dort entsteht, ist seit Jahren eine der größten Trainingsquellen. Google-Extended und Applebot-Extended gehören ebenfalls hierher, mit einem Unterschied: Sie sind Steuer-Tokens und keine Crawler. Sperrst du diese Gruppe, verlierst du keine Sichtbarkeit.
2. Grounding und Abruf
Das ist die Gruppe, die dir Zitierungen bringt. OpenAI erklärt, dass OAI-SearchBot Websites in den Suchergebnissen in ChatGPT anzeigt und nicht für Training genutzt wird. Anthropic sagt, Claude-SearchBot durchsucht das Web, um die Qualität der Suchergebnisse zu verbessern. Perplexity beschreibt PerplexityBot als darauf ausgelegt, Websites in Perplexity-Ergebnissen zu zeigen und zu verlinken, ausdrücklich nicht für Foundation Models. Sperrst du diese Gruppe, verschwindest du aus den Antworten.
3. Vom Nutzer ausgelöste Abrufe
ChatGPT-User, Claude-User und Perplexity-User rufen eine Seite ab, weil ein Mensch gerade eine Frage gestellt oder einen Link eingefügt hat. Kein Index, kein Training: Das ist ein Besucher mit einem Vermittler. Diese zu sperren, ist dasselbe wie einen Kunden abzuweisen, weil ihn jemand anders zu deiner Tür gefahren hat.
Wer ist wer, und was kostet Blockieren?
Die Tabelle unten fasst die offizielle Dokumentation von OpenAI, Anthropic, Perplexity, Google und Apple zusammen. Lies jede Zeile so: Bringt mir dieser Bot Zitierungen, und erzeugt er Trainingsdaten?
Die AI-Crawler, die 2026 zählen.
Quelle: Bot-Dokumentation von OpenAI, Anthropic, Perplexity, Google Search Central und Apple.
| Verdient Zitate | Erzeugt Trainingsdaten | |
|---|---|---|
| GPTBot (OpenAI) | Bringt keine Zitate | Crawlt Inhalte, die die Foundation-Modelle trainieren können |
| OAI-SearchBot (OpenAI) | Zeigt und verlinkt deine Website in der ChatGPT-Suche | Nicht für Training genutzt |
| ChatGPT-User (OpenAI) | Holt eine Seite, weil ein Nutzer gerade danach gefragt hat | Nicht für Training genutzt |
| ClaudeBot (Anthropic) | Bringt keine Zitate | Sammelt Webinhalte, die zum Training beitragen können |
| Claude-SearchBot (Anthropic) | Baut den Suchindex hinter Claude-Antworten | Nee |
| Claude-User (Anthropic) | Besucht eine Seite auf Wunsch des Nutzers | Nee |
| PerplexityBot | Zeigt und verlinkt deine Website in Perplexity-Ergebnissen | Nicht für Foundation-Modelle genutzt |
| Perplexity-Benutzer | Besucht eine Seite auf Wunsch des Nutzers | Nee |
| Google-Erweitert | Kein eigener User Agent, nur ein robots.txt-Token | Gemini-Training und Grounding in Gemini Apps und Vertex AI |
| Bingbot (Microsoft) | Bing-Index, historisch die Basis unter der ChatGPT-Suche | Nee |
| CCBot (Common Crawl) | Öffentliches Archiv, keine Suchmaschine | Eine langjährige Trainingsquelle für viele Modelle |
| Applebot-Extended | Crawlt selbst keine Seiten | Bestimmt, ob Applebot-Daten Apples Foundation-Modelle trainieren |
Google-Extended und Applebot-Extended sind robots.txt-Tokens ohne eigenen User Agent: Sie regeln, wie bereits gecrawlte Daten genutzt werden dürfen. Google dokumentiert ausdrücklich, dass Google-Extended deine Aufnahme in die Google Suche nicht beeinflusst und kein Ranking-Signal ist.
Welche robots.txt passt zu dir?
Es gibt drei realistische Haltungen. Wähle bewusst eine, und denke daran, dass robots.txt eine Bitte ist und kein Schloss: Anständige Crawler halten sich daran, unseriöse nicht.
A. Alles erlauben (der Standard für fast jedes kleine Unternehmen)
Wenn du Kunden aus der AI-Suche willst und deine Inhalte keinen bezahlten Archivwert haben, ist das die richtige Entscheidung. Eine fehlende oder leere robots.txt bedeutet schon, dass alles erlaubt ist; schreibe sie trotzdem aus, mit deiner Sitemap daneben.
Benutzer-Agent: *
Erlaubt: /
Sitemap: https://yourdomain.com/sitemap.xml
B. Abruf und Zitieren erlauben, Training blockieren
Der vertretbare Mittelweg für Publisher und wissensintensive Unternehmen: in Antworten genannt werden, ohne das Trainingsmaterial zu verschenken. Jeder User Agent braucht seinen eigenen Eintrag.
# Training: nein
User-agent: GPTBot
Nicht erlauben: /
User-agent: ClaudeBot
Nicht erlauben: /
User-agent: CCBot
Nicht erlauben: /
User-agent: Google-Extended
Nicht erlauben: /
User-agent: Applebot-Extended
Nicht erlauben: /
# Zitieren und Abrufen: ja
User-agent: OAI-SearchBot
Erlaubt: /
User-agent: ChatGPT-User
Erlaubt: /
User-agent: Claude-SearchBot
Erlaubt: /
User-agent: Claude-User
Erlaubt: /
User-agent: PerplexityBot
Erlaubt: /
User-agent: Perplexity-User
Erlaubt: /
User-agent: Bingbot
Erlaubt: /
Benutzer-Agent: *
Erlaubt: /
Sitemap: https://yourdomain.com/sitemap.xml
C. Alles blockieren
Nur sinnvoll, wenn deine Inhalte das Produkt sind und jede AI-Referenz dich Umsatz kostet. Der Preis: Du verschwindest als Quelle aus ChatGPT, Claude und Perplexity, auch dann, wenn ein bestehender Kunde ausdrücklich nach dir fragt.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Nicht erlauben: /
Die Blockade, die du nie siehst
Das ist die wichtigste Warnung auf dieser Seite. Blockieren ist selten eine bewusste robots.txt-Entscheidung; es passiert versehentlich, eine Ebene tiefer, in deiner WAF oder im Bot-Management.
Im Juli 2025 hat Cloudflare das Blockieren von AI-Crawlern für neue Domains standardmäßig aktiviert. Außerdem liefert Cloudflare eine managed robots.txt mit einer Option "Enforce robots.txt rules", die eine WAF-Regel ausrollt, und diese Regel blockiert auf Netzwerkebene, egal was in deiner eigenen robots.txt steht. Bot Fight Mode stellt zusätzlich Traffic auf die Probe, der nicht wie ein Browser aussieht, und genau so sieht ein Crawler aus.
Das Gemeine daran ist, dass es dir niemand sagt. Die Search Console berichtet nur über Googlebot, ein 403 an GPTBot oder PerplexityBot erscheint dort also nie. Deine robots.txt sagt Allow, deine Statistiken sagen nichts, und in der Zwischenzeit kommt kein AI-Fetcher durch. Prüfe am Edge, nicht in der Datei.
So prüfst du, ob AI-Crawler wirklich hereinkommen.
Rufe deine robots.txt so ab, wie ein Bot es tut. curl -A "GPTBot" https://yourdomain.com/robots.txt. Wenn dabei etwas anderes herauskommt als in deinem Browser, greift zwischen Bot und Datei etwas ein.
Eine echte Seite mit einem AI-User-Agent abrufen. curl -sI -A "OAI-SearchBot" https://yourdomain.com/. Eine 200 ist in Ordnung. Eine 403, eine 503 oder eine Challenge-Seite heißt: Deine Firewall blockiert, was robots.txt erlaubt.
Deine Cloudflare-Einstellungen durchgehen. Prüfe Bot Fight Mode, AI Crawl Control und managed robots.txt. Alle drei können deine robots.txt überstimmen, ohne dass du je etwas aktiviert hast.
Lies deine Server-Logs, nicht die Search Console. Filtere auf GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot und schau auf die Statuscodes. Nur hier steht die Wahrheit.
Soll ich also eine llms.txt veröffentlichen?
Du darfst, es dauert fünf Minuten, und es gibt heute keinen messbaren Nutzen. Im Mai 2026 hat Ahrefs 137.000 Domains untersucht (Studie vom 15. Juni 2026): Von den gut 38.000 Websites mit einer gültigen llms.txt-Datei erhielten 97 % in diesem Monat keine einzige Anfrage. Von den Anfragen durch AI-Bots kamen nur 1,1 % von AI-Retrieval-Bots, also den Bots, die für einen Nutzer eine Antwort nachschlagen.
Die Anbieter sagen dasselbe. John Mueller erklärte im Juni 2025, dass derzeit kein AI-System llms.txt nutzt, und Googles eigene Dokumentation ist eindeutig: "Sie müssen keine neuen maschinenlesbaren Dateien, AI-Textdateien, kein Markup und kein Markdown erstellen, um in der Google Suche (einschließlich ihrer generativen AI-Funktionen) zu erscheinen." Nahezu keine Kosten für die Umsetzung, nahezu kein messbarer Nutzen. Wer Ergebnisse durch llms.txt verspricht, verkauft etwas, das niemand nachweisen kann.
Bing nicht vergessen
Die Suche in ChatGPT stützte sich lange auf den Bing-Index; zusätzlich crawlt OpenAI mit dem eigenen OAI-SearchBot. Deine Sitemap in den Bing Webmaster Tools einzureichen, dauert zehn Minuten und ist einer der wenigen Hebel, die du hier wirklich in der Hand hast. Sperre also nicht vorsichtshalber Bingbot, wenn du bei AI-Bots aufräumst.
So löst FWRD das
Jede FWRD-Website ist standardmäßig für Such- und Retrieval-Crawler offen und reicht ihre Sitemap automatisch ein. Davor sitzt kein Bot-Management, das versehentlich AI-Fetcher aufhält, und die Seiten sind statisches HTML: Was ein Crawler abruft, ist das, was ein Besucher sieht.
Rund um dieses Thema
- Von ChatGPT zitiert werden Was wirklich darüber entscheidet, ob du zitiert wirst.
- llms.txt Die Datei, von der 97% der Kopien null Anfragen bekamen.
- AI-SEO erklärt Wie AI das SEO in zwei Richtungen verändert.
- Generative Engine Optimization Für generierte Antworten optimieren.
- Für Entwickler Die Technik unter einer FWRD-Website.
- SEO bei FWRD Was automatisch erledigt wird.
Offen für die Bots, die Kunden bringen.