## エージェント固有のrobots.txtディレクティブとは？

標準のrobots.txtはWebクローラーを制御します。AI固有のクローラー向けにUser-agentディレクティブを追加することで、サイトがAIエージェントを認識し歓迎していることを示します。

## 例

`/robots.txt` に次を追加します:

```
User-agent: GPTBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: Anthropic-AI
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /
```

## 既知のAIクローラー

| User-agent | 運営者 | 用途 |
|---|---|---|
| GPTBot | OpenAI | 学習とブラウジング |
| Claude-Web | Anthropic | Webブラウジング |
| Anthropic-AI | Anthropic | 学習 |
| PerplexityBot | Perplexity | 検索と回答 |
| Google-Extended | Google | AI学習 |
| Applebot | Apple | SiriおよびAI機能 |

## なぜ重要か

多くのサイトはデフォルトでAIクローラーをブロックしています。明示的に許可することで、コンテンツやAPIがエージェントによる消費を想定して設計されていることを示します。

## 仕様の成熟度

**確立された慣習。** robots.txtは長く続くWeb標準（RFC 9309）です。AI固有のUser-agent文字列は各AI企業によって定義されています。

## 詳細情報

- [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309) — robots.txt仕様

## 関連

- [llms.txt](/kb/ja/llms-txt)