什么是 llms-full.txt?
llms-full.txt 是 /llms.txt 的同伴文件 —— 遵循同样的 llmstxt.org 约定,但它不是列出你重要的页面,而是把站点的全部文本内容拼接到一个文件里。一次请求,整个语料库。
它什么时候有用?
llms.txt 是一个目录。代理读它、挑一个相关的 URL、获取那个页面、再重复。这适合可以浏览的代理。
llms-full.txt 是全文。代理读一次就拥有了一切。这在以下场景特别重要:
- 无浏览的检索流水线 —— 能摄取文本但无法发起后续 HTTP 请求的 RAG 系统
- 嵌入式代理 —— 运行在无任意网络访问环境中的代理
- 一次性上下文 —— LLM 需要在一开始就把整个知识库装进上下文窗口
- 训练与微调摄取 —— 内容进入模型构建流水线而非运行时获取
对会浏览的代理来说,llms-full.txt 是无害的额外开销(它们可以选择不获取)。对不会浏览的代理来说,这就是「代理拥有你的文档」与「代理对你一无所知」之间的差别。
格式
纯文本或 markdown。标准约定是以与 llms.txt 相同的标题开头,然后用清晰的标题或 --- 分隔符把 llms.txt 目录里的每一页拼接起来。
骨架示例:
# Your Service Name
> Brief one-line description.
## Overview
Your Service does X, Y, Z.
---
### /docs/getting-started
(full markdown content of the getting-started page)
---
### /docs/api-reference
(full markdown content of the API reference)
(...continues for every page)
代理如何发现它
两种方式:
1. HTML head 中的 <link rel="alternate">
<link rel="alternate" type="text/plain" href="/llms-full.txt" title="Full content for LLMs">
2. 从 /llms.txt 中引用它
大多数 llms.txt 文件以「Optional」段落结尾。把同伴文件加到那里,让读目录的代理知道完整内容版本存在。
## Optional
- [Full content](/llms-full.txt) — entire site text in one file
如何生成它
大多数现代文档平台(Mintlify、带插件的 Docusaurus、带模板的 Hugo)都能从源文件自动生成 llms-full.txt。如果你手动维护文档,一个把 markdown 源文件拼接起来的简单构建步骤就够用了。
内容变更时重新生成。 过期的 llms-full.txt 比没有更糟 —— 它会向代理提供关于你服务的过时信息。把生成集成到构建文档的同一个 CI 步骤里。
取舍
- 优点 —— 单次获取就给消费者所有内容;无需爬取
- 优点 —— 强 AEO 信号:ChatGPT、Perplexity 和 Claude 都看重机器可读语料库的可用性
- 优点 —— 适用于没有浏览能力的代理(RAG 流水线、嵌入式代理)
- 缺点 —— 响应较大:根据文档规模,从几十 KB 到几 MB 不等
- 缺点 —— 内容变更时必须重新生成
- 缺点 —— 把所有内容都拼接进去,包括你可能更希望代理逐页获取的内容(付费文档、需要授权的内容)
agentgrade 检查什么
- 找到 llms-full.txt ——
/llms-full.txt返回 200,且至少包含 20 个字符的非 HTML 内容,且不像软 404 - HTML 中链接到 llms-full.txt(可选)——
<link rel="alternate" type="text/plain" href="/llms-full.txt">出现在主页的<head>中
这个检查的权重为 1 —— 低于 llms.txt 本身的权重 2,反映了 llms-full 是推荐的同伴内容,而非主目录文件。
真实示例
- docs.anthropic.com/llms-full.txt —— Anthropic 完整的 Claude 文档,聚成一个文件
- agentgrade.com/llms-full.txt —— 我们自己从这个知识库生成的版本
- 原始的 llmstxt.org 规范把两个文件都描述为规范化的配对
规范成熟度
新兴标准,增长迅速。 在 llmstxt.org 与 llms.txt 一同定义。采用率正在上升,由 AI 优先的文档平台(Mintlify 自动生成)和无浏览检索工作流的扩散推动。同时发布两个文件的站点,正把自己定位为 AI 回答引擎的权威来源。
了解更多
- llmstxt.org —— 规范
- llms.txt —— 同伴的目录文件