robots.txt für Agenten

Wie robots.txt KI-Agenten steuert

robots.txt (RFC 9309) ist ein Protokoll auf Basis freiwilliger Befolgung: Du veröffentlichst Regeln, und gut geführte Crawler entscheiden sich, sie zu befolgen. Nichts im Protokoll erzwingt irgendetwas — deshalb ist es genauso wichtig zu wissen, welche KI-Bots es respektieren, wie die Regeln zu schreiben.

Jeder große KI-Anbieter betreibt inzwischen mehrere Bots mit unterschiedlichen Aufgaben, und robots.txt behandelt jedes User-agent-Token als eigenen Adressaten: Ein Crawler befolgt die spezifischste Gruppe, die auf sein eigenes Token passt, und ignoriert Gruppen, die an andere Tokens gerichtet sind. Einen Bot zu blockieren bewirkt daher nichts bei seinen Geschwistern. Die Tokens sortieren sich in drei Ebenen:

Training-Crawler (GPTBot, ClaudeBot, meta-externalagent) sammeln Inhalte fürs Modelltraining. Einen davon zu blockieren nimmt deine Inhalte aus künftigen Modellen heraus — es beeinflusst weder Live-Antworten noch Zitate in der Suche.
Suchindex-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) bauen die Indexe, die KI-Assistenten zitieren. Diese zuzulassen ist es, was deine Seiten in Antworten von ChatGPT, Claude und Perplexity auffindbar und zitierbar macht.
Nutzerinitiierte Fetcher (ChatGPT-User, Claude-User, Perplexity-User, Google-Agent) rufen eine Seite live ab, weil ein Mensch den Assistenten gerade danach gefragt hat. Die meisten Anbieter erklären, dass diese Ebene robots.txt ignorieren darf — ihre Begründung: Eine Person, kein Crawler, hat die konkrete Seite angefordert. (Es gibt dokumentierte Ausnahmen — Anthropics Claude-User und Mistrals MistralAI-User erklären beide, robots.txt zu respektieren.)

Die praktische Konsequenz: User-agent: GPTBot + Disallow: / meldet dich vom OpenAI-Training ab, entfernt dich aber nicht aus der ChatGPT-Suche (das ist OAI-SearchBot) und stoppt keine Live-Abrufe durch Nutzer (das ist ChatGPT-User). Jedes Verhalten braucht seine eigene Gruppe.

Aktuelle KI-Crawler-Tokens

Token	Betreiber	Ebene	Respektiert robots.txt?
GPTBot	OpenAI	Training	Ja
OAI-SearchBot	OpenAI	Suchindex	Ja — OpenAI empfiehlt, ihn zuzulassen
ChatGPT-User	OpenAI	User-Fetch	„Regeln greifen möglicherweise nicht“ (OpenAIs Formulierung)
ClaudeBot	Anthropic	Training	Ja
Claude-SearchBot	Anthropic	Suchindex	Ja
Claude-User	Anthropic	User-Fetch	Ja — eine dokumentierte Ausnahme
PerplexityBot	Perplexity	Suchindex	Ja
Perplexity-User	Perplexity	User-Fetch	„Ignoriert in der Regel“ (Perplexitys Formulierung)
Google-Extended	Google	Training-Policy-Token	Nur ein Token — von Googlebot gelesen, kein eigener Crawler
Google-Agent	Google	User-Fetch	Ignoriert in der Regel
meta-externalagent	Meta	Training	Ja

Ältere Listen führen noch anthropic-ai und claude-web — Anthropic crawlt unter diesen Tokens nicht mehr; die aktuellen Crawler sind die drei oben genannten. Jedes Token in der Tabelle hat eine eigene Seite — exakter UA-String, robots.txt-Snippets, Verifikation per IP-Range — in der User-Agent-Referenz für KI-Agenten.

Agenten explizit willkommen heißen

Eine explizite Allow-Gruppe ist ein Signal, kein No-Op: Der Default ist zwar bereits „erlaubt“, aber ein Agent-Token zu benennen sagt Crawl-Betreibern (und Scannern wie AgentGrade), dass der Zugang eine Entscheidung ist, kein Versehen.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://example.com/sitemap.xml

Die Sitemap:-Direktive zählt auch für Agenten — über sie findet ein Crawler deine kanonische Seitenliste, ohne jedem Link folgen zu müssen.

Vom Training abmelden, zitierbar bleiben

Die häufigste Mittelposition: Seiten in der KI-Suche zitierbar halten und gleichzeitig aus dem Modelltraining aussteigen.

# Training-Crawler blockieren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Google-Extended
Disallow: /

# Alles andere (Suchindexer, User-Fetcher) bleibt standardmäßig erlaubt

Alles blockieren — und was es kostet

Jedes KI-Token per Disallow zu sperren macht deine Website für KI-Suchindexe unsichtbar, Assistenten können dich also nicht zitieren. Nutzerinitiierte Fetcher stoppt es trotzdem nicht zuverlässig — der Großteil dieser Ebene ignoriert robots.txt per Design. Ein harter Block braucht serverseitige Kontrollen: Filtern nach den veröffentlichten IP-Ranges der Anbieter oder eine WAF-Regel. Die Verifikationsendpunkte für jeden Bot stehen auf den /agents-Seiten.

Häufig gestellte Fragen

Entfernt das Blockieren von GPTBot meine Website aus ChatGPT?

Nein. GPTBot sammelt nur Trainingsdaten. Zitate in der ChatGPT-Suche kommen aus dem Index von OAI-SearchBot, Live-Seitenbesuche von ChatGPT-User — beides funktioniert weiter, solange du deren Tokens nicht auch blockierst (und ChatGPT-User darf den Block ignorieren).

Respektieren KI-Agenten robots.txt überhaupt?

Nach Ebene: Training- und Such-Crawler von OpenAI, Anthropic, Perplexity, Google und Meta dokumentieren, dass sie es tun. Nutzerinitiierte Fetcher dokumentieren überwiegend, dass sie es nicht tun (Claude-User und MistralAI-User sind die erklärten Ausnahmen). robots.txt ist eine veröffentlichte Präferenz, keine Zugriffskontrolle.

Ist Google-Extended ein Crawler, den ich in meinen Logs sehe?

Nein. Google-Extended ist ein robots.txt-Policy-Token, das vom regulären Googlebot gelesen wird. Es per Disallow zu sperren nimmt deine Inhalte aus Gemini-Training und -Grounding heraus, ohne die Google-Suche zu beeinflussen. Kein Request trägt je einen Google-Extended-User-Agent.

Sollte meine Website KI-Crawler zulassen oder blockieren?

Das ist eine Geschäftsentscheidung über zwei getrennte Dinge: Training (deine Inhalte verbessern künftige Modelle) und Sichtbarkeit (Assistenten zitieren und empfehlen dich). Viele Websites blockieren inzwischen die Training-Tokens und erlauben die Such-Tokens — das Muster „vom Training abmelden, zitierbar bleiben“ oben.

Reifegrad der Spezifikation

Etablierter Standard. robots.txt ist in RFC 9309 spezifiziert. Die KI-spezifischen Tokens definiert und dokumentiert jeder Anbieter selbst — und sie ändern sich oft genug, dass die User-Agent-Referenz pro Bot aktuell gehalten wird.

Mehr erfahren

RFC 9309 — die robots.txt-Spezifikation
KI-Agenten-User-Agents: die Referenzliste — UA-Strings, robots.txt-Verhalten und IP-Verifikation pro Bot