お問い合わせ

自社のブログ記事がChatGPTやPerplexityに引用されない。その原因のひとつに「重複コンテンツの除外」があります。

AIの学習データを構築する過程では、似た内容のページが積極的に除外されます。Web上の無数のページから収集されたデータのうち、類似度の高い文書同士が検出・削除されるのです。

この仕組みを理解すると、コンテンツ戦略に根本的な見直しが必要なことが分かります。他のサイトと同じ内容を書いても、AIには認識されない可能性があります。固有のデータ、固有の分析、固有の視点だけが、重複除去を通過します。

Web上のコンテンツの重複は想像以上に多い

Lee et al.（2022年、Google）の論文「Deduplicating Training Data Makes Language Models Better」は、C4データセット（Googleが構築したWeb由来の大規模コーパス）を分析しました。

報告された結果は以下の通りです。

3.04%は小さい数字に見えますが、C4データセットの規模（約750GB）を考慮すると、約23GBの完全重複データが存在していた計算です。 類似重複を含めれば、この数倍の規模になります。

重複データを除去するとAIの性能が上がる

Lee et al.の研究は、重複データがモデルの品質に与える影響も定量的に示しました。

つまり、重複除去はAIの品質向上のために行われる技術的な必然です。 すべての主要なAIの学習パイプラインに、重複除去の仕組みが組み込まれています。

重複検出の3つのアルゴリズム

AIの学習データパイプラインでは、異なる精度とコストのアルゴリズムが段階的に適用されます。

完全一致の除去

最も単純な方法です。ハッシュ関数で文書のフィンガープリントを計算し、一致するものを検出します。

計算コストは低いですが、検出範囲は限定的です。 1文字でも異なれば「別の文書」と判定されるため、日付の変更や著者名の差し替えなどの軽微な改変を施した重複は検出できません。

MinHashによる類似重複の検出

Broder（1997年）が提案したMinHashは、類似重複の検出に広く使われている手法です。

仕組みを簡略化して説明すると、以下のようになります。

  1. 文書を連続するn文字の組み合わせ（n-gram）に分割する
  2. 各n-gramにハッシュ関数を適用する
  3. 2つの文書のハッシュ値の一致率から類似度を推定する
  4. 類似度が閾値（Lee et al.の研究では0.8）を超える文書ペアは、一方を削除する

この手法の重要な特性は、文書の部分的な改変を許容して類似文書を検出できることです。 言い換え、語順の変更、冒頭や末尾の追加・削除があっても、文書の大部分が共通していれば重複として検出されます。

意味的重複除去（SemDeDup）

Abbas et al.（2023年、Meta）の「SemDeDup」は、テキストの表面的な類似性ではなく、意味的な類似性に基づいて重複を検出する手法です。

文書をAIの埋め込みモデルでベクトルに変換し、ベクトル空間上で近い文書同士を類似と判定します。 この手法により、表現が異なっていても内容が同じ文書（言い換え、翻訳、要約など）が重複として検出されます。

Abbas et al.の実験では、SemDeDupを適用してデータ量を50%削減しても、AIの性能低下がなかった場合が報告されています。 つまり、意味的に同じコンテンツの半分は、AIにとって不要だったということです。

大規模な重複除去の実例——RefinedWeb

Penedo et al.（2023年、Technology Innovation Institute）の「The RefinedWeb Dataset for Falcon LLM」は、大規模な重複除去パイプラインの実装を詳細に報告した事例です。

RefinedWebは、Common Crawlから約5兆トークンのテキストを抽出し、以下のパイプラインで処理しました。

  1. URLベースのフィルタリング（スパムサイトの除外）
  2. 言語識別（対象言語以外の文書の除外）
  3. 文書レベルのフィルタリング（短すぎる文書、品質が低い文書の除外）
  4. MinHashによる類似重複除去
  5. 完全一致の重複除去

このパイプラインを経て、Common Crawlの生データから最終的なRefinedWebデータセットに至るまでに、データ量は大幅に削減されました。

重複除去で残るコンテンツ・残らないコンテンツ

重複除去パイプラインを通過するコンテンツには、明確な特徴があります。

特徴通過しやすい削除されやすい
情報の固有性独自データ、独自分析を含む一般的な定義、広く知られた情報の再記述
表現の独自性著者固有の表現、独自の構成テンプレート的な文章、定型表現の繰り返し
データの具体性具体的な数値、事例、実測データ「一般的に〜と言われている」式の記述
視点の独自性独自の解釈、独自のフレームワーク教科書的な説明の再構成

AI検索においても重複処理は行われる

重複除去は、AIの学習データ構築時だけでなく、RAGによるAI検索時にも行われます。

PerplexityやGoogle AI Overviewなどは、ユーザーのクエリに対して複数のWebページを検索・取得します。取得されたページの中に類似内容が含まれる場合、システムは以下のいずれかの処理を行います。

いずれの場合も、内容が類似する複数のページが個別に引用される可能性は低くなります。 同じトピックについて実質的に同じ内容のページを複数公開しても、AI検索での引用が増えるわけではありません。

コンテンツの固有性を高める4つの方法

自社データの体系的な公開

自社が保有するデータのうち、公開可能なものを特定してコンテンツに組み込みます。

データの種類公開方法工数目安
マーケティング施策の効果データ数値付きの事例記事1記事あたり4〜6時間
市場調査・アンケート結果調査レポート（テーブル・グラフ付き）1レポートあたり8〜16時間
ツール・サービスの実測比較比較表と所見1比較あたり6〜10時間
業務プロセスの定量分析フローと工数の可視化1分析あたり4〜8時間

工数は大きくなりますが、一度公開された固有データは長期にわたってAI検索での引用源となりえます。 汎用的な記事を10本書くより、固有データを含む記事を1本書く方が、AI検索での引用においては効果的である可能性が高いです。

独自の分析・解釈の追加

既存の公開データに対して、独自の分析や解釈を加えます。

業界団体が発表した統計データは、多くのサイトが引用します。 そのデータに対して「自社の顧客ベースではこの傾向がさらに顕著だった」「この数値の背景には〇〇という要因がある」といった独自の分析を加えることで、情報の固有性が生まれます。

テンプレート表現の回避

重複除去アルゴリズム（特にMinHash）は、n-gramの一致率で類似度を判定します。 業界で広く使われるテンプレート的な表現は、n-gramレベルで多くのページと一致するため、重複除去の対象になりやすくなります。

コンテンツ全体がテンプレート表現で構成されている場合に、他の類似ページとの区別がつかなくなるという点が問題です。 表現自体が悪いのではなく、固有の情報が含まれていないことが問題です。

固有データの体系的な蓄積

自社固有のデータを構造化して管理し、コンテンツに組み込むアプローチは、重複除去の観点から合理的です。

以下のようなデータを体系的に蓄積することが有効です。

これらのデータは、Web上の他のページには存在しない固有情報であり、重複除去を通過します。 さらに、AIが不確実性を感じやすい領域（最新の数値、ニッチな実測データ）に該当するため、AI検索での引用動機も高くなります。

重複除去と公開日時の関係

Web上のコンテンツが大規模に複製・転載されている場合、重複除去によってオリジナルのページだけが学習データに残る可能性があります。

どのページが「オリジナル」と判定されるかはアルゴリズムの実装に依存しますが、公開日時、ドメインの権威性、ページの品質スコアなどが判定基準として使われる可能性があります。

実務的な対応としては以下が考えられます。

これらは重複除去のアルゴリズムに対する直接的な対策というより、情報の出自を明確にするための基本的な対応です。

まとめ

AIの学習データパイプラインは、重複コンテンツを積極的に除去します。 MinHash、SemDeDupなどのアルゴリズムにより、表面的な表現が異なっていても内容が類似する文書は検出・削除されます。

この仕組みは、RAGベースのAI検索においても同様に機能します。 同じ情報を繰り返し書いても、AI検索で複数回引用されるわけではありません。

コンテンツ戦略への示唆は明確です。 固有のデータ、固有の分析、固有の視点を持つコンテンツだけが、重複除去を通過し、AI検索で引用されます。汎用的な情報の量産から、固有性の深掘りへの転換が求められています。