llms-full.txtとは?
llms-full.txtは /llms.txt のコンパニオンファイルです。llmstxt.org の同じ規約に従いますが、重要なページを列挙する代わりに、サイトのテキストコンテンツ全体を連結したものを単一ファイルに含めます。1回のフェッチで、すべてのコーパスを取得できます。
どんなときに役立つか?
llms.txtはディレクトリです。エージェントがそれを読み、関連するURLを選び、そのページをフェッチし、繰り返します。これはブラウジングできるエージェントには適しています。
llms-full.txtはテキスト全体です。エージェントが1度読めば、すべてが手に入ります。これが重要なのは:
- ノーブラウズの検索パイプライン — テキストを取り込めるがフォローアップHTTPリクエストを送れないRAGシステム
- 組み込みエージェント — 任意のネットワークアクセスがない環境で動作するもの
- ワンショットコンテキスト — LLMが事前に知識ベース全体をコンテキストウィンドウに入れる必要がある場合
- 学習・ファインチューニング用の取り込み — コンテンツが実行時のフェッチではなく、モデルビルドのパイプラインに入る場合
ブラウジングするエージェントにとってllms-full.txtは害のないオーバーヘッドです(フェッチしない選択ができます)。ブラウジングしないエージェントにとっては、「エージェントがあなたのドキュメントを持っている」のか「エージェントがあなたについて何も知らない」のかの違いになります。
形式
プレーンテキストかmarkdownです。標準的な規約は、llms.txtと同じヘッダーで始め、llms.txtディレクトリ内のすべてのページを明確な見出しや --- セパレータで区切って連結することです。
スケルトン例:
# Your Service Name
> Brief one-line description.
## Overview
Your Service does X, Y, Z.
---
### /docs/getting-started
(full markdown content of the getting-started page)
---
### /docs/api-reference
(full markdown content of the API reference)
(...continues for every page)
エージェントがどう発見するか
2つの方法があります:
1. HTML headの <link rel="alternate">
<link rel="alternate" type="text/plain" href="/llms-full.txt" title="Full content for LLMs">
2. /llms.txt から参照する
ほとんどのllms.txtファイルは「Optional」セクションで終わります。ディレクトリを読むエージェントが完全コンテンツ版の存在を知れるように、そこにコンパニオンを追加しましょう。
## Optional
- [Full content](/llms-full.txt) — entire site text in one file
生成方法
ほとんどのモダンなドキュメントプラットフォーム(Mintlify、プラグイン付きDocusaurus、テンプレート付きHugo)はソースからllms-full.txtを自動生成できます。ドキュメントを手動で管理しているなら、markdownソースファイルを連結する簡単なビルドステップで十分です。
コンテンツが変わったら再生成する。 古いllms-full.txtは無いより悪い — エージェントにあなたのサービスについての時代遅れの情報を与えるからです。生成をドキュメントをビルドするのと同じCIステップに組み込みましょう。
トレードオフ
- 長所 — 1回のフェッチで消費者にすべてを提供;クロール不要
- 長所 — 強いAEOシグナル:ChatGPT、Perplexity、Claudeはすべて機械可読なコーパスの可用性を重視します
- 長所 — ブラウジング能力のないエージェント(RAGパイプライン、組み込みエージェント)でも動作します
- 短所 — レスポンスが大きい:ドキュメントのサイズによって数十KBから数MB
- 短所 — コンテンツが変わったら再生成する必要がある
- 短所 — エージェントに個別にフェッチさせたいコンテンツ(有料ドキュメント、ゲート付きコンテンツ)も含めてすべてを連結する
agentgradeが確認すること
- llms-full.txtが見つかる —
/llms-full.txtが200を返し、ソフト404でない非HTMLコンテンツが少なくとも20文字ある - HTMLからllms-full.txtへのリンク(オプション)—
<link rel="alternate" type="text/plain" href="/llms-full.txt">がホームページの<head>にある
このチェックは重み1でスコアされます — llms.txt自体の重み2より低く、llms-fullが主要なディレクトリファイルではなく推奨されるコンパニオンコンテンツであることを反映しています。
実世界の例
- docs.anthropic.com/llms-full.txt — AnthropicのClaudeドキュメント全体を1ファイルに
- agentgrade.com/llms-full.txt — このナレッジベースから生成された自社版
- 元のllmstxt.org仕様では、両方のファイルを正規のペアとして説明しています
仕様の成熟度
新興標準、急速に成長中。 llmstxt.orgでllms.txtと並行して定義されています。AIファーストのドキュメントプラットフォーム(Mintlifyが自動生成)とノーブラウズ検索ワークフローの普及により、採用は増加しています。両方のファイルを提供するサイトは、AI回答エンジンの権威ある情報源としての地位を確立できます。
詳細情報
- llmstxt.org — 仕様
- llms.txt — コンパニオンのディレクトリファイル