agents.txt — エージェントアクセスポリシー
agents.txtとは？
agents.txtは、AIエージェント向けのアクセスポリシー — 何ができるか、どのくらいの速度で、どのような制限があるか — を定義します。クロールするだけでなくアクションを実行する自律エージェント向けに進化したrobots.txtだと考えてください。
例
/agents.txt で配信します:
[agent:*]
Allow-Actions: read, search
Rate-Limit: 60/minute
[agent:claude]
Allow-Actions: read, search, post, vote
Rate-Limit: 120/minute
[agent:gptbot]
Allow-Actions: read
Rate-Limit: 30/minute
主要な概念
- エージェントセクション：エージェントごと、または全エージェント向け（
agent:*）にポリシーを定義 - Allow-Actions：エージェントが取れるアクション（read、write、post など）
- Rate-Limit：時間あたりのリクエスト数
- エージェント固有のルール：エージェントごとに異なる権限を設定可能
仕様の成熟度
新興の標準 — 未だ正式化されていません。 複数の提案が存在します:
- IETF Internet-Draft は正式なポリシーファイル形式を定義しています
- GitHubのコミュニティ提案では別の形式が定義されています
このコンセプトは支持を集めていますが、形式は未確定です。上記の例は最も一般的なコミュニティの慣習に従っています。
詳細情報
- IETF agents-policy draft — 正式仕様の提案