PerplexityやChatGPTの検索機能に質問すると、Webページを引用しながら回答が生成されます。 自社サイトの記事が引用されることもあれば、競合の記事ばかりが引用されることもあります。

この違いはどこから生まれるのか。 AI検索で自社コンテンツが引用される条件を理解するには、AI検索の仕組み(RAG)を知る必要があります。

この記事では、RAGの基本的な動作を非エンジニア向けに解説し、「引用されるコンテンツ」に求められる条件を整理します。

AI検索はどう動いているのか——RAGという仕組み

RAG(Retrieval-Augmented Generation)は、2020年にMeta AI(当時Facebook AI Research)のLewis et al.が提案した手法です。 日本語に訳すと「検索で補強された文章生成」という意味になります。

仕組みは大きく2つのステップに分かれます。

ステップ1:関連するページを検索する(Retriever)

ユーザーの質問に関連するWebページやドキュメントを探し出すステップです。 質問文の「意味」を数値に変換し、データベース内の各ページの意味との近さを計算して、関連性の高い文書を選びます。

ステップ2:検索結果を参考に回答を生成する(Generator)

検索で取得されたページの内容と、ユーザーの質問を合わせてAIに渡し、回答文を生成するステップです。 GPTやClaudeなどのAIモデルが、「この参考情報を踏まえて、この質問に答えてください」という形で回答を作ります。

この2段階の構成がRAGの本質です。 AIは「自分の知識だけ」で回答するのではなく、「検索結果として渡された情報」を参照しながら回答を生成します。

「意味で検索する」とはどういうことか

従来の検索エンジンは、キーワードの一致でページを探していました。 「マーケティング ツール」と検索すれば、「マーケティング」「ツール」という単語が含まれるページが上位に出ます。

RAGで使われる検索方式(Dense Passage Retrieval)は、これを「意味の一致」に置き換えます。

Karpukhin et al.(2020, Meta AI)が提案したこの方式では、質問文もWebページもAIによって「意味を表す数値の列」に変換されます。 そして、数値の方向が近いもの同士を「意味が似ている」と判定します。

たとえば「マーケティングの自動化ツールはどう選べばいいか」という質問に対して、ページ内に「マーケティング」という単語がなくても、「MA導入の選定基準」というテーマのページが選ばれる可能性があります。 キーワードの一致ではなく、意味の近さで判断するためです。

Karpukhin et al.(2020)の実験では、この意味ベースの検索はキーワードベースの検索(BM25)に比べて、Top-20の検索精度で約9〜19ポイントの改善を示しました。

検索されたページはどう回答に使われるのか

検索で取得された複数のページは、チャンク(段落や節単位の断片)に分割されます。 その中から関連度の高い部分が選ばれ、AIモデルへの入力として渡されます。

Lewis et al.(2020)は、この生成プロセスに2つの方式を提示しました。

RAG-Sequence方式は、取得された各ページについて個別に回答を生成し、関連度スコアで重み付けして統合します。 回答全体の一貫性が高くなる特徴があります。

RAG-Token方式は、回答の各単語を生成する際に毎回すべてのページを参照します。 複数の情報源をまたいだ回答が可能になります。

実際のAI検索サービスではこれらをさらに発展させた実装が使われていますが、「検索結果を参考情報として与え、それを参照しながら生成する」という基本は共通しています。

RAGの研究はどのように発展してきたか

REALM——学習段階から検索を組み込む(Guu et al., 2020)

Guu et al.(2020, Google Research)が発表したREALMは、AIモデルの学習段階から「外部知識を検索して利用する」という行動を組み込みました。

従来は学習済みのAIに後から検索機能を追加する形でしたが、REALMは学習時から検索を前提とした設計です。 実験では、検索なしのモデルに比べて4〜16ポイントの精度向上が報告されています。

この研究は「AIの能力は内部の知識だけでなく、外部情報へのアクセスによって大きく拡張できる」という考え方を確立しました。

RETRO——大規模データベースからの検索(Borgeaud et al., 2022)

Borgeaud et al.(2022, DeepMind)が提案したRETROは、2兆トークンという膨大なデータベースを検索対象とし、比較的小さなAIモデルでも大きなモデルに匹敵する性能を示しました。

この結果は、AIモデル自体を大きくする代わりに検索データベースを拡充する方が効率的な場合があることを意味しています。 AI検索サービスにとっては、検索対象のデータベースの質と量が回答品質を大きく左右するということです。

現在のAI検索サービスはどう動いているのか

PerplexityやChatGPTの検索機能は、RAGの発展形と考えられます。 一般的な処理フローを整理します。

1. 質問の解析 ユーザーの質問を解析し、検索クエリを生成します。 あいまいな質問は、複数の検索クエリに分解される場合があります。

2. Web検索の実行 生成された検索クエリでWeb検索を実行し、関連するWebページを取得します。

3. ページの分割と再評価 取得されたWebページをチャンク(段落や節単位の断片)に分割します。 各チャンクと質問の関連度を再計算し、関連度の高いものを絞り込みます。

4. AIへの入力 関連度の高いチャンクを選択し、AIモデルに「参考情報」として渡します。

5. 回答の生成と引用 AIが参考情報をもとに回答を生成し、回答内の各主張に対して参照元のURLを引用として付けます。

AI検索で引用されるコンテンツの5つの条件

RAGの仕組みから逆算すると、引用されやすいコンテンツの条件が見えてきます。

条件1:AIのクローラがアクセスできること

AI検索の検索フェーズで取得されるためには、まずクローラがアクセスできなければなりません。 ペイウォール、ログイン壁、robots.txtによるブロックは、この段階で弾かれる原因になります。

条件2:質問に対する直接的な回答を含むこと

意味ベースの検索は、ユーザーの質問と意味的に近いテキストを選びます。 質問に対して直接的に回答する文章を含むコンテンツは、検索フェーズで上位に選ばれやすくなります。

回りくどい導入文や比喩から始まるコンテンツよりも、冒頭から主題に入るコンテンツの方が有利です。

条件3:見出しでセクションが区切られていること

チャンク分割の際、見出し(H2, H3)で区切られた構造化テキストは、意味的にまとまったチャンクに分割されやすくなります。 各セクションが独立した論点を持つ記事構成は、RAGのチャンク処理と相性がよいです。

複数のトピックが段落の区切りなく混在するテキストは、チャンク分割後に意味が断片化するリスクがあります。

条件4:事実と主張が明示的であること

AIの生成器は、参考情報内の明示的な記述を回答に反映しやすい特性があります。 「〜と考えられる」「〜の傾向がある」といったあいまいな記述よりも、「○○は△△です(出典: ×× et al., 2023)」のような明示的な記述の方が引用されやすくなります。

条件5:情報が新しいこと

AI検索のWeb検索フェーズでは、検索エンジンのランキングが影響します。 更新日時が新しいコンテンツ、定期的に更新されているサイトは、検索結果の上位に出やすく、結果としてRAGの入力に選ばれやすくなります。

RAGの限界——万能ではない点を理解しておく

RAGにはいくつかの限界があります。 Lewis et al.(2020)の論文でも指摘されている点です。

検索結果への依存 AIの回答品質は、検索で取得されるページの品質に依存します。 関連性の低いページが取得された場合、回答の質も低下します。

入力量の上限 AIモデルには一度に処理できるテキスト量の上限があります。 大量のページを参考情報として渡すことはできないため、どのチャンクが選ばれるかが回答品質に直結します。

検索されなければ存在しないのと同じ Web検索でヒットしなければ、AIの回答に含まれません。 新しい情報やニッチな情報は、まずWeb検索で見つかる状態にしておく必要があります。

実務で取り組むべき3つの施策

RAGの仕組みを踏まえて、コンテンツ制作者が取り組むべき施策を整理します。

質問形式を意識した構成にする

ユーザーがAI検索に投げかける質問を想定し、その質問に対する回答を記事内に明示的に含めます。 FAQ形式のセクション、「○○とは」の定義セクション、「○○の方法」の手順セクションは、意味ベースの検索でマッチしやすい構造です。

セクション単位で情報を完結させる

各見出し配下のセクションが、独立して読める単位になっているか確認します。 RAGのチャンク分割はセクション単位で行われることが多いため、セクション内で情報が完結していることが望ましいです。

「上記のとおり」「前述の○○」といった参照は、チャンク化された後に意味が通じなくなる可能性があります。

出典と根拠を本文中に明示する

数値データの出典、研究結果の引用元を本文中に記載します。 AIの生成器は、出典付きの記述を「信頼性の高い情報」として引用する傾向があります。

まとめ

RAGは「検索」と「生成」の組み合わせであり、AI検索の基盤技術です。

Lewis et al.(2020)がこの手法を提案して以降、Guu et al.(2020)のREALM、Borgeaud et al.(2022)のRETROによって有効性とスケーラビリティが実証されてきました。

コンテンツ制作者にとって重要なのは、RAGが「意味的に関連するテキストの断片を検索し、それを参照しながら回答を生成する」という仕組みだということです。

AIのクローラがアクセスできて、構造化されていて、質問に対する直接的な回答を含み、出典が明示されたコンテンツ。 これがAI検索の検索フェーズで選ばれ、生成フェーズで引用される条件です。


参考文献