Cloudflare & Agent-Zugriff

Das Problem

Cloudflares Managed Challenge (Bot-Schutz) blockiert automatisierte HTTP-Requests — auch die von KI-Agenten. Wenn deine Website mit Standardeinstellungen hinter Cloudflare liegt, erreichen Agenten weder deine API-Endpoints noch Payment-Gates oder Discovery-Dateien.

AgentGrade erkennt das pro Probe. Wenn ein Check blockiert wird, siehst du „Blocked by Cloudflare" statt eines Pass/Fail-Ergebnisses. Dein Score kann niedrig erscheinen — nicht weil Capabilities fehlen, sondern weil Cloudflare die Verifizierung verhindert hat.

Was blockiert wird

Cloudflares Challenge greift bei Requests, die:

kein JavaScript ausführen (alle API-/Agenten-Requests)
keine Browser-Fingerprints haben (TLS, Header, Cookies)
aus Cloud-/Rechenzentrums-IP-Bereichen kommen

Das heißt: jeder agentenrelevante Endpoint ist potenziell blockiert: MCP, OpenAPI, llms.txt, x402.json, Payment-Gates usw.

So behebst du es

Option 1: Challenge für API-Pfade umgehen (empfohlen)

Lege in Cloudflares WAF-Regeln eine Regel an, die die Managed Challenge für agentenrelevante Pfade überspringt:

Expression:

(http.request.uri.path matches "^/\.well-known/.*" or
 http.request.uri.path matches "^/api/.*" or
 http.request.uri.path eq "/mcp" or
 http.request.uri.path eq "/openapi.json" or
 http.request.uri.path eq "/llms.txt" or
 http.request.uri.path eq "/agents.txt" or
 http.request.uri.path eq "/skills.json" or
 http.request.uri.path eq "/robots.txt")

Action: Skip → Managed Challenge

So bleibt der Bot-Schutz auf deinen HTML-Seiten aktiv, während Agenten die maschinenlesbaren Endpoints erreichen.

Option 2: Bestimmte User-Agents auf die Allowlist setzen

Erstelle eine WAF-Regel, die die Challenge für bekannte Agent-User-Agents überspringt:

(http.user_agent contains "AgentGrade" or
 http.user_agent contains "Claude" or
 http.user_agent contains "GPTBot")

Option 3: Cloudflares Bot-Management-Stufen nutzen

Die Enterprise- und Business-Pläne von Cloudflare bieten granulareres Bot-Management, das zwischen „guten Bots" (API-Clients, Agenten) und bösartigen Bots unterscheiden kann.

Den Fix verifizieren

Nachdem du deine Cloudflare-Regeln aktualisiert hast, scanne deine Website erneut auf AgentGrade. Zuvor blockierte Checks sollten jetzt Pass/Fail-Ergebnisse zeigen statt „Blocked by Cloudflare".