「記事は長い方がSEOに有利」という考え方は広く知られています。 しかしAI検索においては、記事の長さそのものは引用の決定要因ではありません。
AI検索が引用するコンテンツは、RAG（Retrieval-Augmented Generation）という仕組みを通じて「チャンク」と呼ばれる断片に分割されてから選ばれます。 この記事では、チャンク分割の技術的な仕組みと、記事設計への具体的な示唆を整理します。
コンテキストウィンドウとは何か
コンテキストウィンドウは、AIが一度に処理できるテキストの最大量を指します。 単位はトークンで、日本語の場合おおむね1文字が1〜2トークンに相当します。
主要モデルのコンテキストウィンドウは以下の通りです。
| モデル | コンテキストウィンドウ |
|---|---|
| GPT-4 Turbo | 128,000トークン |
| Claude 3.5 | 200,000トークン |
| Gemini 1.5 Pro | 1,000,000トークン |
日本語の文章に換算すると、128Kトークンは約6万〜8万字に相当します。 200Kトークンでは約10万字、書籍1冊分のテキストを一度に処理できる計算です。
コンテキストウィンドウの拡大は進んでいます。Bulatov et al.（2023年）は「Scaling Transformer to 1M tokens and beyond with RMT」において、最大200万トークンまで拡張する手法を提案しました。
「長い入力が処理できる」ことと「長い記事が引用される」ことは別の話
コンテキストウィンドウが拡大し、AIが長いテキストを読めるようになったことは事実です。 しかし、AI検索で引用されるかどうかは、別のメカニズムで決まります。
PerplexityやChatGPTの検索モードなどのAI検索サービスは、ユーザーの質問に対してリアルタイムにWebから情報を取得し、回答を生成します。この仕組みがRAGです。
Lewis et al.（2020年、Facebook AI Research）が提案したRAGのアーキテクチャでは、情報の検索と生成が2段階に分かれています。
- Retriever（検索）：質問に関連するドキュメントの断片を検索する
- Generator（生成）：検索された断片をコンテキストとして、回答を生成する
ここで重要なのは、Retrieverが検索する対象が「記事全体」ではなく「チャンク」と呼ばれる断片であるという点です。
RAGのチャンク分割の仕組み
RAGシステムは、インデックス作成時にドキュメントを一定サイズのチャンクに分割します。 各チャンクはベクトル化（embedding）され、検索用のインデックスに格納されます。
ユーザーの質問が来ると、その質問もベクトル化され、最も関連性の高いチャンクが検索されます。 検索されたチャンクがAIのコンテキストに渡され、回答が生成されます。
つまり、1万字の記事も3,000字の記事も、最終的にはチャンク単位で評価されます。 記事全体の長さは、チャンクの検索段階では直接的な評価対象になりません。
チャンクサイズと検索精度の関係
チャンクサイズの設定はRAGの精度に大きく影響します。 Zhong et al.（2024年）は「Mix-of-Granularity」（MoG）の研究で、クエリの種類に応じて最適なチャンクサイズが異なることを示しました。
一般的に使われるチャンクサイズの範囲と特性は以下の通りです。
| チャンクサイズ | 特性 |
|---|---|
| 128〜256トークン | 事実ベースの短い質問に適する。精度が高いが文脈が不足しやすい |
| 256〜512トークン | 多くのケースで安定した精度を示す |
| 512〜1,024トークン | 複雑な推論を要する質問に適する。文脈は豊かだが雑音も増える |
| 1,024〜2,048トークン | 長い文脈が必要なケースで使われるが、検索精度が低下しやすい |
NVIDIAが2024年に実施したベンチマークでは、7つのチャンキング戦略を5つのデータセットで比較した結果、ページレベルのチャンキングが精度0.648で最も高い成績を示しました。 固定長分割では400トークンが88.1〜89.5%の精度を記録しています。
Zhong et al.のMoGは、クエリに応じてチャンク粒度を動的に切り替えるルーターを導入し、固定長分割を上回る精度を達成しました。
長い記事が不利になる3つのケース
1万字の記事でも、チャンクに分割された各断片が質問との関連性を持っていれば引用される可能性はあります。しかし、以下のケースでは長い記事が不利に働きます。
話題が拡散している記事
10のトピックを1つの記事に詰め込むと、各チャンクは異なるトピックの断片になります。 結果として、どのチャンクも特定の質問に対する関連性スコアが中途半端になります。
結論が後半に集中している記事
RAGのチャンク分割は、記事の論理展開を考慮しません。 冒頭3,000字が前置きで結論が最後の500字にある記事では、結論のチャンクに必要な文脈が欠落します。
重複表現が多い記事
同じ主張を言い換えて繰り返す記事は、複数のチャンクが類似したベクトルを持ちます。 検索時にどのチャンクが選ばれるか不安定になり、最も質の高い表現が選ばれる保証がなくなります。
短い記事が有利になるケース
1,500〜3,000字程度の短い記事が有利に働くケースもあります。
1つのトピックに集中している
記事全体が1つの問いに対する回答になっている場合、どのチャンクも同じトピックの文脈を持ちます。 検索時の関連性スコアが高くなりやすくなります。
構造が明確で自己完結している
見出し→本文→根拠→数値という構造がチャンク内に収まっている場合、チャンク単体で意味が完結します。 AIはそのチャンクだけで回答を生成でき、引用される確率が上がります。
Lost in the Middle問題
AIがコンテキストの中間部分の情報を見落としやすいことが研究で報告されています。 これは「Lost in the Middle」問題と呼ばれています。
長いコンテキストを処理するとき、AIは冒頭と末尾の情報をよく記憶しますが、中間に配置された情報の利用率が低下します。
記事側でこの問題を直接制御することはできませんが、各セクションが独立して意味を持つ構造にしておけば、どの位置にチャンクが配置されても必要な情報は伝わります。
AI検索時代の記事設計の具体的な指針
RAGのチャンキングを前提にした記事設計のポイントを整理します。
見出し直下に結論を書く
各セクションの冒頭で、そのセクションの結論を述べます。 チャンクがセクション境界で分割された場合でも、冒頭の結論が独立して意味を持つ構成にします。
1セクションを400〜600字に収める
多くのRAGシステムで使われるチャンクサイズ（256〜512トークン）に合わせると、日本語では400〜600字が1チャンクに収まる目安になります。 1つのセクションが1チャンクに収まれば、セクション単位で意味が完結します。
見出しに検索語を含める
チャンク分割の実装では、見出しがチャンクの先頭に含まれることが多くなっています。 見出しに具体的なキーワードが入っていれば、ベクトル検索時の関連性スコアが向上します。
数値と根拠をセクション内に閉じる
「この数値の根拠は前述の通り」のような参照構造は、チャンク分割後に意味を失います。 数値を提示するセクション内に、その根拠となる出典を併記します。
記事の長さは結果であって目標ではない
3,000字で1つのトピックを網羅できるなら3,000字で書きます。 10,000字が必要なトピックなら、セクション構造を整えた上で10,000字で書きます。
長さそのものではなく、各チャンクの意味の自己完結性が引用を左右します。
コンテキストウィンドウ拡大がもたらす今後の変化
コンテキストウィンドウの拡大は、将来的にRAGのアーキテクチャ自体を変える可能性があります。
100万トークンのコンテキストウィンドウが標準になれば、チャンク分割の粒度を大きくしたり、複数の関連ドキュメントを丸ごとコンテキストに含めたりすることが技術的に可能になります。
ただし、計算コストの問題があります。コンテキストが長くなるほどAIの推論コストは増大します。 Bulatov et al.（2023年）のRMTは線形スケーリングを実現しましたが、一般的なTransformerの注意計算は入力長の二乗に比例します。
実務的には、コンテキストウィンドウの拡大にかかわらず、チャンク単位での検索と選別は当面継続すると見るのが妥当です。計算効率の観点から、関連性の高い断片を選別してからAIに渡す方が合理的だからです。
まとめ
AI検索における引用は、記事の長さではなく、チャンク単位での情報の質と関連性で決まります。
RAGシステムはドキュメントを256〜512トークン程度のチャンクに分割し、各チャンクを独立して検索・評価します。 この構造を前提にすると、記事設計のポイントは以下に集約されます。
- 各セクションの冒頭に結論を書く
- 1セクションを400〜600字に収める
- 数値と根拠を同一セクション内に配置する
- 見出しに具体的なキーワードを含める
10,000字の散漫な記事よりも、3,000字の構造化された記事の方が、個々のチャンクの品質が高くなります。 コンテキストウィンドウが拡大しても、チャンク単位の検索は当面続きます。記事の構造設計は、AI検索時代の基本的な要件です。