お問い合わせ

ChatGPTやClaudeに自社の商品名を聞いたとき、正しく回答してくれるでしょうか。 もし何も出てこない、あるいは間違った情報が返ってくるなら、そもそもAIがあなたのサイトを「知らない」可能性があります。

AIは「Web上のすべて」を学習しているわけではありません。 実際にAIの知識に入っているのは、Webのごく一部です。この記事では、自社コンテンツがAIに学習される条件を、研究データに基づいて整理します。

AIの学習データの約8割はWebから来ている

GPT-3の学習データ構成がBrown et al.（2020年、OpenAI）の論文で報告されています。 主要なデータソースとその比率は以下の通りです。

データソース比率（トークン数ベース）
Common Crawl（フィルタリング済み）60%
WebText222%
Books1 / Books28% / 8%
Wikipedia3%

全体の約82%がWebから取得されたテキストです。 Wikipediaですら3%に過ぎず、AIの知識の大部分はWeb上のテキストに由来しています。

ただし「Webのすべて」ではなく、「Common Crawlに収集され、品質フィルタを通過したテキスト」だけが学習データに含まれます。

Common Crawlとは何か

Common Crawlは、非営利団体が運営するWebクロールデータセットです。2008年から稼働しており、2023年時点で約32億ページ、250TBのデータを保持しています。

GPT-3、T5（Raffel et al., 2020年、Google）、LLaMAなど、主要なAIモデルはいずれもCommon Crawlを原資料として使っています。 つまりCommon Crawlに入っていないコンテンツは、AIの学習データに含まれる可能性がかなり低くなります。

ただし、Common Crawlの生データがそのまま使われることはありません。 ノイズや重複、低品質コンテンツが大量に含まれるため、厳しいフィルタリングが施されます。

Webの99.7%はフィルタリングで除外される

Dodge et al.（2021年、Allen Institute for AI）は、GoogleのC4データセットのフィルタリング過程を詳細に分析しました。 C4はCommon Crawlから以下の基準でコンテンツを除外しています。

この分析によると、フィルタリングでCommon Crawlの約99.7%が除外されました。 AIに到達するコンテンツは、Web全体の0.3%程度という計算になります。

AIの学習データに含まれやすいコンテンツの条件

研究結果を総合すると、AIの学習データに含まれるコンテンツの条件は以下のように整理できます。

含まれやすい条件：

含まれにくい条件：

クロールされないコンテンツの5つのパターン

Common Crawlに収集されない、あるいは収集後のフィルタリングで除外されるコンテンツには共通のパターンがあります。

JavaScript依存のページ

Common CrawlはHTTPリクエストのレスポンスとして返されるHTMLを保存します。React、Vue、AngularなどのSPAで構築されたサイトでは、HTMLソースにコンテンツが含まれない場合があります。

SSR（サーバーサイドレンダリング）やSSG（静的サイト生成）を採用していれば問題ありません。 APIからデータを取得して描画するタイプのページは、クローラにとっては空のHTMLに見える可能性があります。

ペイウォール・ログイン壁の背後にあるコンテンツ

クローラは認証なしでアクセスします。ログインが必要なコンテンツ、有料会員限定のコンテンツはクロール対象になりません。

一部のメディアはリード部分を公開しているため、記事の冒頭のみがデータセットに含まれるケースもあります。

robots.txtでクロールを拒否しているサイト

robots.txtでCommon CrawlのクローラであるCCBotをブロックしているサイトはクロールされません。 近年、大手メディアの一部がAI学習目的のクロールを拒否する動きがあります。

noindexタグが設定されたページ

Common Crawl自体はnoindexタグを無視してクロールする場合がありますが、後処理のフィルタリングでnoindexページが除外される実装は一般的です。

非テキストコンテンツ

画像内テキスト、動画の音声、PDFの一部など、HTMLテキストとして抽出しにくいコンテンツは学習データに入りにくい傾向があります。

日本語コンテンツはデータセット上の希少資源

Dodge et al.（2021年）の分析では、C4の約96%が英語コンテンツでした。 日本語コンテンツは全体の0.1%未満にとどまっています。

この言語の偏りは、日本語でコンテンツを作る方にとって2つの意味を持ちます。

1つ目は、日本語の高品質コンテンツはデータセット上で希少なため、含まれた場合の影響力が相対的に大きくなる可能性があることです。

2つ目は、日本語の学習データが少ないため、AIの日本語能力は英語に比べて限定的な部分があることです。専門用語の扱いや文化的コンテキストの理解において、英語コンテンツほどの精度が出にくい傾向があります。

クロールされるだけでは不十分——品質フィルタの存在

クロールされることと、学習データに含まれることは別の段階です。

Brown et al.（2020年）は、GPT-3の学習データ作成時に品質フィルタリングとして、Wikipediaの参照リンクに含まれるページとの類似度スコアを使用したと報告しています。

Wikipediaから外部リンクされているページを「高品質」の基準とし、Common Crawl上のページとの類似度を計算しました。 類似度が高いページ、つまりWikipediaが参照するようなスタイル・品質を持つページが優先的に学習データに含まれたということです。

この手法は「Webページの品質をWikipediaの編集者の判断に委ねている」とも解釈できます。 結果として、百科事典的な記述スタイル、出典の明示、客観的なトーンを持つコンテンツが選ばれやすくなります。

学習データの更新とAI検索の違い

AIの学習データには明確なカットオフ日があります。 Common Crawl自体は月次でクロールを行っていますが、AIの学習に使われるのはある時点のスナップショットです。新しいコンテンツが公開されても、次のモデルの学習サイクルに入るまでAIの知識には反映されません。

ただし、RAG（Retrieval-Augmented Generation）を用いたAI検索では、リアルタイムの検索結果が利用されます。 学習データへの反映とAI検索での引用は異なるメカニズムです。この違いを理解しておくことが、GEO対策の設計において重要になります。

自社コンテンツをAIの学習データに含めるための施策

ここまでの研究を踏まえ、コンテンツ制作上の具体的な施策を整理します。

サーバーサイドレンダリングの採用

コンテンツの本文をHTMLのソースコードとして直接出力します。 CSR専用のSPAは避け、Next.jsのSSRやAstroのSSGなど、クローラにHTMLテキストが見える構成を選びます。

構造化されたテキストの公開

見出し（h2、h3）、段落、リストなど、HTML構造が明確なテキストはフィルタリングを通過しやすい傾向があります。 表組みやコードブロックなど、テキストとして抽出可能な形式も有効です。

独自データの掲載

他のサイトと同じ情報を繰り返すだけのコンテンツは、重複除去のフィルタで除外される可能性があります。 自社の調査データ、独自の分析結果、一次情報を含むコンテンツは、学習データへの残存率が高くなると考えられます。

出典の明示

Wikipediaスタイルの品質フィルタにおいて、出典が明示されたコンテンツは品質スコアが高くなる傾向があります。 数値の根拠、参照先の論文名・著者名を本文中に記載することが有効です。

The Pileが示すデータソースの多様性

Gao et al.（2020年、EleutherAI）が構築したThe Pileは、約800GBのテキストデータセットです。 22の異なるソースから構成されており、AIが学習するテキストの性質を知る手がかりになります。

コンポーネント容量内容
Pile-CC227GBCommon Crawlからの抽出
PubMed Central90GB医学論文のフルテキスト
ArXiv56GBプレプリント論文
GitHub95GBソースコード
StackExchange32GBQ&Aサイトのテキスト
Wikipedia6GB英語Wikipedia
USPTO22GB米国特許文書

PubMed CentralやArXivといった学術コンテンツが大きな比率を占めています。 これらはオープンアクセスであり、構造化されたテキストであり、品質が一定以上保証されています。

AIが学術的なトピックに比較的正確に回答できるのは、この学術コンテンツの比率が一因です。 ビジネスコンテンツにおいても、論文や調査データを引用した構造化されたテキストは、同様の品質シグナルをAIに伝えます。

まとめ

AIの学習データは「Webの全体」ではなく、「クロール可能で、品質フィルタを通過したテキスト」の集合です。

Brown et al.（2020年）のGPT-3論文、Gao et al.（2020年）のThe Pile、Dodge et al.（2021年）のC4分析から、その選別基準は明らかになりつつあります。

自社コンテンツがAIに認識されるための条件は、クロール可能性、テキストの品質、独自性、構造の明快さです。

SEOのテクニックとは異なる話です。 テキストデータとしての品質を高めること。それがAI時代においてコンテンツが認識されるための基本構造になります。