エージェント向けrobots.txt

エージェント固有のrobots.txtディレクティブとは？

標準のrobots.txtはWebクローラーを制御します。AI固有のクローラー向けにUser-agentディレクティブを追加することで、サイトがAIエージェントを認識し歓迎していることを示します。

例

/robots.txt に次を追加します:

User-agent: GPTBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Anthropic-AI
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

既知のAIクローラー

User-agent	運営者	用途
GPTBot	OpenAI	学習とブラウジング
Claude-Web	Anthropic	Webブラウジング
Anthropic-AI	Anthropic	学習
PerplexityBot	Perplexity	検索と回答
Google-Extended	Google	AI学習
Applebot	Apple	SiriおよびAI機能

なぜ重要か

多くのサイトはデフォルトでAIクローラーをブロックしています。明示的に許可することで、コンテンツやAPIがエージェントによる消費を想定して設計されていることを示します。

仕様の成熟度

確立された慣習。 robots.txtは長く続くWeb標準（RFC 9309）です。AI固有のUser-agent文字列は各AI企業によって定義されています。

詳細情報

RFC 9309 — robots.txt仕様