「ABテストが大事なのはわかっている。でも何をテストすればいいかわからない」
LP改善でABテストを導入しようとして、最初にぶつかる壁がこれです。
この記事では、LP改善で確実に成果を出すABテストの設計方法と実践手順を解説します。
ABテストとは — 基本をおさらい
ABテストとは、LPの要素を1つだけ変更した2つのバージョン（A/B）を同時に公開し、どちらがCVR（コンバージョン率）が高いかを統計的に検証する手法です。
訪問者50% → バージョンA（現行LP） → CVR 2.1%
訪問者50% → バージョンB（CTA色変更）→ CVR 2.8%
→ バージョンBが統計的に有意に高い → Bを採用
ABテストで改善すべき要素の優先順位
すべてをテストする必要はない
LPの要素は無数にありますが、CVRへの影響度は要素によって大きく異なります。
| 優先度 | テスト対象 | CVR影響度 | テスト例 |
|---|---|---|---|
| 1 | CTAボタン | 大 | 文言・色・サイズ・配置 |
| 2 | ファーストビュー | 大 | キャッチコピー・メインビジュアル |
| 3 | フォーム | 大 | 項目数・ステップ数・入力支援 |
| 4 | 社会的証明 | 中 | 導入社数・口コミ・実績の表示方法 |
| 5 | 価格表示 | 中 | 料金プランの見せ方・比較表 |
| 6 | ページ構成 | 中 | セクションの順序・長さ |
| 7 | デザイン要素 | 小 | 配色・フォント・余白 |
よくある間違い: 配色やフォントからテストを始める。 デザイン要素のCVR影響度は小さいため、CTAやファーストビューのテストを先に行うべきです。ボタンの色を赤にするか緑にするかより、「送信」を「無料で資料を受け取る」に変える方がCVRへの影響は圧倒的に大きい。
ABテストの正しい設計方法
Step 1: 仮説を立てる
テストの前に「なぜ変更するのか」の仮説を明文化します。
仮説テンプレート:
現状: [現在の状態]
課題: [改善したい指標と現在の数値]
仮説: [変更内容] を行えば [理由] により [目標指標] が改善する
良い仮説の例:
現状: CTAボタンの文言が「送信」
課題: CTAクリック率が1.2%と低い
仮説: 「無料で資料を受け取る（30秒で完了）」に変更すれば、
何が起きるかが明確になり、クリック率が2%以上に改善する
Step 2: 変更する要素は「1つだけ」
| テスト設計 | 変更内容 | 判断 |
|---|---|---|
| NG | CTAの色+文言+サイズを同時変更 | 何が効いたか不明 |
| OK | CTAの文言のみ変更 | 文言の効果を正確に測定 |
| OK | 次のテストでCTAの色を変更 | 色の効果を正確に測定 |
Step 3: サンプルサイズを事前に計算する
ABテストの最大の落とし穴は
必要サンプルサイズの目安:
| 現在のCVR | 検出したい改善幅 | 必要サンプル数（片側） |
|---|---|---|
| 1% | +0.5%（→1.5%） | 約4,700 |
| 2% | +0.5%（→2.5%） | 約3,200 |
| 3% | +1%（→4%） | 約2,100 |
| 5% | +1%（→6%） | 約2,500 |
計算条件: 信頼水準95%、検出力80%。これは統計的にABテストの結論を信頼できる最低ラインです。サンプル数がこれを下回ると、「たまたまBが勝った」可能性が排除できません。
Step 4: テスト期間を決める
サンプルサイズと1日のLP訪問数から、テスト期間を逆算します。
必要サンプル数: 6,400（両方合計）
1日のLP訪問数: 200
→ テスト期間: 6,400 ÷ 200 = 32日間
最低テスト期間は7日間。曜日による変動を含めるために、最低1週間は実施してください。
Step 5: 結果を統計的に判定する
テスト期間が終了したら、統計的有意差を確認します。
| 指標 | 確認内容 | 基準 |
|---|---|---|
| p値 | 差がたまたまである確率 | p < 0.05（5%未満）なら有意 |
| 信頼区間 | CVR差の推定範囲 | 信頼区間が0をまたがなければ有意 |
| 改善幅 | BがAより何%高いか | 実務的に意味のある差か確認 |
ABテストの実践フロー
LP改善を継続的に回すための実践フローです。
| フェーズ | やること | 期間 |
|---|---|---|
| 分析 | ヒートマップ・GA4でボトルネック特定 | 1〜2日 |
| 仮説 | 改善仮説の策定・テスト設計 | 1日 |
| 実装 | テストバリエーション作成 | 1〜3日 |
| 実行 | ABテスト実行（サンプル数到達まで） | 2〜4週 |
| 判定 | 統計的有意差の確認 | 1日 |
| 反映 | 勝ちパターンを本番LPに反映 | 1日 |
| 次テスト | 次の優先要素のテスト設計 | → 繰り返し |
よくある失敗パターンと回避策
失敗1: テスト途中で結果を見て止める
「3日目でBが圧勝してるから、もうBに決定！」はNG。序盤のデータは偏りやすく、最終的に逆転するケースも珍しくありません。
回避策: テスト開始前に終了日を決め、途中結果に関わらず最後まで実行する。
失敗2: 複数要素を同時に変更する
「どうせテストするなら一気に変えよう」は最も多い失敗。何が効いたのかわからなくなります。
回避策: 1テスト1変更の原則を厳守。
失敗3: 「勝ち」の基準があいまい
「なんとなくBの方がいい」で判断するのは、テストをしていないのと同じです。
回避策: p値 < 0.05 を判定基準にする。有意差が出なければ「差がない」と判断し、次のテストに進む。
失敗4: 成功体験に固執する
「前にオレンジのCTAが勝ったから、ずっとオレンジ」はNG。ユーザー層やトレンドの変化で最適解は変わります。
回避策: 6ヶ月ごとに過去の勝ちパターンを再テストする。
ABテストツールの選び方
小規模サイト（月間1万PV以下）: Google オプティマイズの後継ツール、またはVWO・Optimizelyの無料プランから始める。大規模なツール導入は不要。
テストの前に: そもそもLPのどこに問題があるのかを特定する方が先。ABテストは「仮説を検証する手段」であり、仮説の質がテストの価値を決める。
まとめ
- ABテストは**「正しくやること」**が重要。闇雲なテストは時間の無駄
- テスト優先順位: CTA → ファーストビュー → フォーム の順
- 1テスト1変更の原則を厳守。複数変更は効果測定不能
- サンプルサイズを事前計算。少なすぎるデータで結論を出さない
- p値 < 0.05 で統計的有意差を確認してから判断
- 月1回のテストサイクルを継続し、CVRを着実に改善
ABテストの前提として、LPのどこに問題があるかを正確に把握する必要があります。ヒートマップやアクセス解析だけでは見えない課題を、AIの視点で発見してみませんか？