EC A/Bテスト 設計

概要

ECサイト/LP/広告のA/Bテストを、統計的に妥当な形で設計するスキル。仮説・検証指標・サンプルサイズ/期間・1要素設計・ランダム割付・結果の読み方を整理し、「なんとなく良さそう」でなく数字で勝ち負けを判定できる計画を出す。CVR改善やLP比較で、サンプル不足や指標の取り違えによる誤った結論を防ぐ。

このスキルは改善案を出すCVR診断（shopify-cvr-diagnosis）とは別で、「検証の設計」に特化する。

最重要原則

「先に仮説と主要指標を1つ決める／必要サンプルサイズを見積もってから始める／一度に変えるのは1要素／ランダムに割り付ける／途中で覗いて止めない（早期停止のバイアス）／有意差≠ビジネス的に十分な効果」。サンプル不足のまま「勝った」と判断するのが最大の失敗。期間途中での恣意的な停止も結論を歪める。

知識ベース

設計の要素：

要素	ポイント
仮説	「Xを変えるとY（主要指標）がZだけ改善する」を1文で
主要指標	CVR/クリック率/客単価など1つ。副次指標は監視のみ
サンプルサイズ	現状値・検出したい最小効果(MDE)・有意水準・検出力から概算
期間	必要サンプル÷日次流入。曜日/週次の波を1〜2サイクル含む
割付	ランダム・同時並行（時期差を作らない）
判定	有意性＋効果量＋実務インパクト。早期停止を避ける

サンプルサイズの考え方（概算）：ベースCVRが低い・検出したい差が小さいほど、必要サンプルは大きくなる。十分な流入が無い場合は、より上流の指標（クリック率）や大きな変更でMDEを上げる。

落とし穴：

• ピーキング（途中で見て止める）／多重比較（指標を増やしすぎる）／セグメント後付け（後からうまくいった層を探す）／外部要因（セール・季節）の混入。

本スキルは妥当なテスト設計の補助であり、厳密な統計コンサルではない。重要判断は統計の専門知見も併用する。

処理フロー

Step 1：検証対象と現状値の確認

• 何を変えるか、対象ページ/広告、現状の主要指標、日次流入/CV数 不明時は仮定を置いて明示。

Step 2：仮説と主要指標の確定

• 仮説を1文化し、主要指標を1つに絞る。副次指標は監視用に列挙。

Step 3：サンプルサイズ・期間の概算

• ベース値・MDE・有意水準・検出力からサンプルサイズと必要日数を概算。流入不足なら設計を見直す。

Step 4：テスト実装の設計

• 1要素設計、ランダム割付、同時並行、計測の整合（重複/ボット除外）。

Step 5：判定ルールの事前定義

• 終了条件、有意性＋効果量の判定、早期停止禁止、外部要因の扱い。

出力フォーマット

# A/Bテスト設計：[対象]

## 0. 前提（対象/現状値/流入・仮定）
## 1. 仮説（1文）と主要指標
## 2. サンプルサイズ・必要期間の概算
   | パラメータ | 値 |
   | ベース指標 | … |
   | 最小検出効果(MDE) | … |
   | 必要サンプル/群 | … |
   | 必要日数 | … |
## 3. テスト実装（1要素/割付/計測）
## 4. 事前定義した判定ルール
## 5. 結果の読み方と注意点

品質ゲート

• 主要指標を1つに絞ったか
• サンプルサイズを事前に見積もったか
• 1要素設計・ランダム割付になっているか
• 早期停止・多重比較・後付けセグメントを禁じたか

注意事項

• 流入が少ない場合、現実的な期間で有意差が出ないことがある。その旨を明示する。
• 有意差が出ても効果量が小さければ実装コストと天秤にかける。
• 季節/セール等の外部要因を設計に織り込む。

参考公式情報源

• 各A/Bテストツールのドキュメント、サンプルサイズ計算の標準的手法