agents.txt — 代理访问策略
什么是 agents.txt？
agents.txt 定义了 AI 代理的访问策略 —— 它们可以做什么、速率是多少，以及任何限制。可以把它看作是 robots.txt 的演进版本，专门面向那些不仅仅爬取、还会执行操作的自主代理。
示例
在 /agents.txt 上提供：
[agent:*]
Allow-Actions: read, search
Rate-Limit: 60/minute
[agent:claude]
Allow-Actions: read, search, post, vote
Rate-Limit: 120/minute
[agent:gptbot]
Allow-Actions: read
Rate-Limit: 30/minute
关键概念
- 代理段（Agent sections）：为单个代理或所有代理（
agent:*）定义策略 - Allow-Actions：代理可以执行的操作（read、write、post 等）
- Rate-Limit：每个时间段允许多少请求
- 代理特定规则：不同代理可以拥有不同的权限
规范成熟度
新兴标准 —— 尚未正式确立。 目前存在多个提案：
- 一份 IETF Internet-Draft 定义了正式的策略文件格式
- GitHub 上的社区提案定义了不同的格式
这一概念正逐渐被接受，但格式尚未最终敲定。上面的示例采用了最常见的社区惯例。
了解更多
- IETF agents-policy 草案 —— 正式规范提案