Wie KI-Agenten wirklich im Web browsen

Das Problem mit den Annahmen

Die meiste Website-Optimierung geht davon aus, dass ein Besucher deine Seite per HTTP abruft, die Header sieht, Redirects folgt und HTML rendert. KI-Agenten brechen jede einzelne dieser Annahmen.

ChatGPT

ChatGPTs Browsing-Tool ruft Seiten live per HTTP ab, aber das Modell sieht nie die rohe Antwort:

Nur Textextraktion — das HTML wird auf einen begrenzten Klartext-Auszug reduziert, bevor das Modell ihn sieht (das genaue Budget ist nicht dokumentiert; Community-Tests haben einige tausend Tokens gemessen)
Keine Header — das Modell erfährt nie Content-Type, Statuscodes oder Redirects
SearchGPT als Zwischenschicht — ein zweites Modell prüft auf Prompt Injection, bevor Inhalte das Hauptmodell erreichen
Agent Mode nutzt einen gefälschten Chrome-UA (Chrome/138.0.0.0) und identifiziert sich über kryptografische Signaturen nach RFC 9421, nicht über den User-Agent

Was das bedeutet: Content Negotiation funktioniert stillschweigend (die Tool-Schicht übernimmt sie), aber das Modell sieht nur den extrahierten Text. Liefere sauberen, strukturierten Text aus, und deine Inhalte werden für ChatGPT nützlicher.

Perplexity

Perplexity nutzt eine mehrstufige Retrieval-Pipeline:

Stealth-Crawler — 3-6 Millionen Requests pro Tag mit generischen Chrome-UAs und rotierenden IPs, nicht PerplexityBot
Hybrides Ranking — BM25-Keyword-Matching plus Vektor-Ähnlichkeit, um relevante Passagen zu finden
Atomare Span-Extraktion — extrahiert gezielte Textabschnitte statt ganzer Seiten
Eigener Index — pflegt einen eigenen gecrawlten Index neben den Websuche-Ergebnissen

Was das bedeutet: Deine robots.txt-Regeln für PerplexityBot stoppen deren Stealth-Crawler womöglich nicht. Strukturierte Inhalte mit klaren Überschriften helfen der Span-Extraktion, die richtigen Passagen zu finden.

Gemini

Geminis häufigster Browsing-Modus trifft deinen Server überhaupt nicht:

Index-basiert — url_context liest aus Googles internem Index, nicht per Live-HTTP. In Tests tauchte kein Request in den Server-Logs auf
Screenshot-basiert — Geminis agentische Browsing-Modi rendern die Seite visuell, wenn die Aufgabe es erfordert (laut Presseberichten wurde der Project-Mariner-Prototyp 2026 in Geminis Agent-Features integriert)
Markdown abgelehnt — die Gemini CLI hat Accept: text/markdown-Antworten in frühen Tests zurückgewiesen

Was das bedeutet: Deine Website muss von Googlebot indexiert sein, damit Gemini sie sieht. Ein <link rel="alternate" href="/llms.txt"> in deinem HTML stellt sicher, dass Google die llms.txt-Beziehung indexiert. JSON-LD-strukturierte Daten überstehen die Indexierungspipeline ebenfalls.

Was du dagegen tun kannst

Maßnahme	Hilft bei
`llms.txt` mit sauberem Markdown ausliefern	ChatGPT, Perplexity
`<link rel="alternate" href="/llms.txt">` hinzufügen	Gemini (über den Google-Index)
JSON-LD-strukturierte Daten hinzufügen	Gemini (über den Google-Index)
`Google-Extended` in der robots.txt nicht blockieren	Gemini
RFC-9421-Signaturen zur Bot-Authentifizierung nutzen	Verifikation im ChatGPT Agent Mode
Strukturierte Inhalte mit klaren Überschriften ausliefern	Perplexitys Span-Extraktion

Mehr erfahren

Die Crawler-Ebenen hinter den Assistenten

Jeder der Assistenten oben wird von mehreren eigenständigen Bots mit separaten robots.txt-Tokens gespeist: Training-Crawler (GPTBot, ClaudeBot), Suchindex-Crawler (OAI-SearchBot, Claude-SearchBot, PerplexityBot) und nutzerinitiierte Fetcher (ChatGPT-User, Claude-User, Perplexity-User) — und eine Ebene zu blockieren bewirkt nichts bei den anderen. Die User-Agent-Referenz für KI-Agenten dokumentiert für jeden Bot den exakten UA-String, das robots.txt-Verhalten und die IP-Verifikation; der robots.txt-Guide erklärt das Ebenen-Modell und liefert Copy-Paste-Muster zum Erlauben und Blockieren.