GEO施策において「この変更が本当に引用率を改善したのか」を検証できている企業は多くありません。 感覚的に「良さそうだ」で施策を進めると、効果のない作業にリソースを投下し続けるリスクがあります。
この記事では、GEO文脈でのA/Bテストの考え方、テスト設計の方法、効果測定の手順を解説します。
なぜGEO施策にA/Bテストが必要なのか
GEO施策として推奨される手法は複数あります。 冒頭に定義文を配置する、箇条書きで要点を整理する、一次データを追加する、構造化データを実装するなどです。
しかし、これらの施策が自社のコンテンツにどれだけの効果をもたらすかは、実際に試してみなければ分かりません。 Aggarwal et al.（2023）のGEO研究でも、施策の効果はコンテンツの種類やクエリの性質によって異なることが示されています。
A/Bテストを行うことで、以下の3つが可能になります。
効果の定量化。 「引用率が何ポイント改善したか」を数値で把握できます。
施策の優先順位付け。 複数の施策候補の中から、最も効果の大きいものを特定できます。
リソースの最適配分。 効果が実証された施策に集中投資し、効果の薄い施策を早期に撤退できます。
GEOのA/Bテストは従来のWebテストと何が違うか
従来のA/BテストとGEOのA/Bテストには、構造的な違いがあります。 この違いを理解しないまま従来の手法を適用すると、意味のないテストになります。
違い1：対象がユーザーではなくAIである
従来のA/Bテスト（Kohavi et al., 2020）は、ユーザーをランダムにA群・B群に分けて、異なるバージョンを表示し、行動の違いを測定します。 GEOのテストでは、ページを閲覧するのは人間のユーザーではなくAIクローラとRAGシステムです。
AIの挙動は確率的であり、同一のコンテンツに対しても引用する/しないの結果が変動します。 そのため、1回の測定ではなく、複数回の測定による統計的な比較が必要になります。
違い2：同時比較が難しい
従来のA/Bテストでは、同一のURLにA版とB版を同時に配信できます。 GEOでは、1つのURLに1つのコンテンツしか配置できないため、同一URLでの同時比較は原理的にできません。
代替的なアプローチとして、以下の2つの方法があります。
ページ間比較（横断比較）。 類似した複数のページの一部にだけ施策を適用し、施策あり/なしのグループ間で引用率を比較します。
時系列比較（前後比較）。 同一ページの施策適用前後で引用率を比較します。 ただし、時期の違いによる外部要因（AI検索エンジンのアルゴリズム変更など）の影響を切り分ける必要があります。
違い3：サンプルサイズの考え方が異なる
従来のA/Bテストでは、ユーザーの流入数がサンプルサイズになります。 GEOのテストでは、「同一クエリでの検索試行回数」がサンプルサイズに相当します。
十分なサンプルサイズを確保するためには、各テスト条件につき最低50回、理想的には100回以上の検索試行が必要です。 API経由で自動化しなければ、実務的に回らない回数です。
テスト設計の手順
GEOのA/Bテストを設計する具体的な手順を解説します。
手順1：テスト仮説を立てる
A/Bテストは仮説の検証手段です。 「何を変えたら、何がどう変わるか」を事前に明文化します。
仮説の例を挙げます。
「記事冒頭に50字以内の定義文を追加すると、その記事がAI検索で引用される確率が10ポイント以上向上する」
仮説には、変更内容（独立変数）、測定指標（従属変数）、期待する効果の方向と規模を含めてください。 曖昧な仮説（「良くなるはず」）ではテスト結果の解釈ができません。
手順2：テスト対象ページを選定する
テスト対象のページは、以下の条件を満たすものを選びます。
現在の引用率が計測済みであること。 ベースラインの数値がなければ、改善効果を算出できません。 テスト開始前に、対象ページの引用出現率を最低50回の試行で計測しておきます。
関連するクエリが明確であること。 どのクエリで引用を期待するかが決まっていなければ、テストに使うクエリを設計できません。
ページ間比較を行う場合は、類似性の高いページを選ぶこと。 トピック、文量、公開時期、ドメイン内の位置づけがなるべく近いページを、施策群と対照群に振り分けます。
手順3：テスト変数を1つに絞る
A/Bテストの基本原則は、変数を1つだけ変えることです。 複数の変更を同時に行うと、どの変更が結果に寄与したかが判別できなくなります。
テスト変数の例は以下のとおりです。
冒頭構成の変更。 リード文の前に1文の定義文を追加する/しない。
見出し構造の変更。 H2見出しを疑問文にする/名詞句にする。
数値データの追加。 本文中に具体的な数値データを追加する/しない。
箇条書きの導入。 連続する文章を箇条書きに変換する/しない。
引用・出典の明記。 主張に対する学術論文や調査レポートの引用を追加する/しない。
Aggarwal et al.（2023）の研究では、「統計情報の追加」「引用の追加」「わかりやすい言い回しへの変更」が引用率改善に効果があったと報告されています。 ただし効果の大きさはクエリのドメインによって異なるため、自社のコンテンツで検証する意義があります。
手順4：測定方法を決める
テストの測定方法を事前に決定します。
使用するAI検索エンジン。 ChatGPT、Perplexity、Google AI Overviewの少なくとも2つを対象にします。 1つのエンジンだけでは、そのエンジン固有の傾向に結果が左右されます。
使用するクエリ。 テスト対象ページに関連するクエリを5〜10個設定します。 クエリの選定が結果を左右するため、指名検索・カテゴリ検索・課題検索をバランスよく含めます。
試行回数。 各クエリ×各エンジンで最低10回、理想的には20回の試行を行います。 クエリ5個×エンジン2つ×20回＝200回が1条件あたりの目安です。
測定期間。 施策適用後、AIクローラが変更後のコンテンツを取得するまでの時間を考慮します。 施策適用から測定開始までに最低1〜2週間の待機期間を設けてください。
手順5：結果を集計し、比較する
テスト結果の集計では、以下の指標を算出します。
施策群の引用出現率。 施策を適用したページが引用された回数÷総試行回数。
対照群の引用出現率（ページ間比較の場合）。 施策を適用していないページが引用された回数÷総試行回数。
ベースラインの引用出現率（時系列比較の場合）。 施策適用前の引用出現率。
差分と改善率。 施策群とベースライン（または対照群）の差分を算出します。
統計的な有意性の判断
引用出現率の差が「偶然の変動」ではないことを確認するために、統計的な検定を行います。
引用の有無は「引用あり=1、引用なし=0」の二値データです。 二値データの比率の差を検定するには、カイ二乗検定またはフィッシャーの正確検定を使用します。
有意水準は5%（p < 0.05）を基準とするのが一般的です。 ただし、GEOのA/Bテストではサンプルサイズが従来のWebテストほど大きくならないことが多いため、10%（p < 0.10）を許容範囲とする判断もあり得ます。
統計的有意性が確認できない場合は、サンプルサイズを増やして再検定するか、効果量が小さいと判断して別の施策をテストします。
テスト結果の解釈と注意点
テスト結果を解釈する際に、注意すべき点を挙げます。
AIエンジンごとに結果が異なる場合。 ChatGPTでは改善効果が見られたがPerplexityでは変化がないケースがあります。 どのエンジンを重視するかは自社の戦略次第です。
クエリによって効果が異なる場合。 クエリのタイプ別に結果を分析し、施策の適用範囲を限定する判断が必要です。
時系列比較の外部要因。 テスト期間中のアルゴリズム更新の影響を排除するため、可能であれば対照群を設けたページ間比較を優先してください。 テスト終了後も継続的にモニタリングし、効果の持続性を確認します。
実務的なテスト運用フロー
A/Bテストを継続的に運用するためのフローを示します。
第1週：仮説立案とテスト設計。 過去の分析結果や競合分析から仮説を立て、テスト対象ページ・クエリ・変数・測定方法を決定します。
第2週：ベースライン測定。 施策適用前の引用出現率を測定し、記録します。
第3週：施策の適用。 テスト対象ページにコンテンツの変更を適用します。 変更内容を正確に記録し、再現可能な状態にします。
第4〜5週：待機期間。 AIクローラが変更後のコンテンツを取得するのを待ちます。 AIクローラのアクセスログで、対象ページがクロールされたことを確認します。
第6週：効果測定。 施策適用後の引用出現率を測定し、ベースラインと比較します。
第7週：結果分析と次のテスト設計。 結果を分析し、施策の展開判断（他のページへの横展開/撤回）を行います。 同時に、次のテストの仮説を立てます。
このサイクルを継続的に回すことで、自社のコンテンツにとって最も効果的なGEO施策を実証的に特定できます。
テストの優先順位付け
リソースが限られている場合、どのテストから実施すべきかの判断基準を示します。
優先度1：既存研究で効果が報告されている施策。 Aggarwal et al.（2023）の研究で効果が確認されている施策（統計情報の追加、引用の追加など）を、自社コンテンツで追試します。 効果が出る可能性が高く、テストの投資対効果が良好です。
優先度2：競合分析で見つけた差分。 競合が引用されていて自社が引用されていないページの構造的な差分を特定し、その差分を埋める施策をテストします。
優先度3：仮説ベースの新規施策。 過去のテスト結果から導いた仮説や、新しいGEO理論に基づく施策をテストします。 探索的な性質が強いため、小規模なテストから始めます。
テスト結果の蓄積とA/Bテストの限界
個別のテスト結果は、組織の知見として蓄積し共有する仕組みを作ります。 テストID、仮説、変更内容、対象ページURL、対象クエリ、測定期間、施策前後の引用出現率、統計的有意性、結論、次のアクションをテストごとに記録します。 10本以上のテスト結果が溜まると、メタ分析として全体的な傾向を把握することも可能になります。
GEOのA/Bテストには認識しておくべき限界もあります。 クローラの再取得タイミングが読めないこと、Gao et al.（2024）が整理するようにRAGの内部ロジックが不透明であること、アルゴリズムの変更でテスト結果が無効化される可能性があることです。
これらの限界を踏まえつつ、A/Bテストは「意思決定の精度を上げる手段」として位置づけてください。 テストを一切行わずに施策を進めるよりも、不完全でもテストに基づいて判断する方が、長期的な成果につながります。