ホームABテスト
ABテスト
フローの分岐に対する自動有意差判定。
このページの目的
フローのステップに紐づけて 複数バリアントを統計的に比較するためのテスト管理。
5分ごとに Z検定 で評価し、95% / 99% の信頼区間に達したら自動で勝者を決定します。
5分ごとに Z検定 で評価し、95% / 99% の信頼区間に達したら自動で勝者を決定します。
指標の選び方
- conversion_rate: 開封 / クリック等の発生率比較。母数が大きいときに使う。
- revenue: 平均売上額。母数が小さくても効果差が見えやすい。
- click_rate: メール文面の比較。件名 / CTA 表現 のテストに。
AB テスト実施の注意
- サンプル数: 各バリアント最低 500件程度はないと有意差が出にくい。
- weight 50:50から始めて、明らかに弱い方が出たら weight 調整するのが定石。
- ABテスト中にテンプレ内容を変えない。比較が無効になります。
- 勝者確定後は手動で「concluded」状態に → 勝者だけを使う運用に切替。
AB テストのアイデア
件名
件名 vs 件名
同じ本文・同じセグメント、件名だけ A/B。「割引強調 vs 期間限定強調」など、開封率の差を測定。
CTA
ボタン文言テスト
同じテンプレ内で
「詳細を見る」 vs 「今すぐチェック」 vs 「30%OFFで購入」 をclick_rateで比較。送信遅延
送信タイミング
フローの delay_seconds を
3日 vs 5日 vs 7日 で比較。conversion_rate で勝者決定。割引率
割引率の最適点
同じテンプレでクーポン割引率を
10% vs 15% vs 20%。revenue 指標で純利益優先の判定。統計用語
- 有意差: 観測された差が偶然ではないと言える確率レベル (95% / 99%)。
- サンプル数: 各バリアントの試行回数。少ないと有意差が出にくい (一般に 500件以上)。
- 勝者確定: 信頼区間で 95% / 99% に達したらサーバ側で自動判定。
- weight: 各バリアントへの配分比 (合計100% にする必要あり)。
よくある質問
勝者がいつまでも決まらない
サンプル数不足 or バリアント間の差が小さい。最低でも各バリアント 1000件 + 効果差 5% 以上ないと統計的に確定しにくい。
テスト中にバリアントを変えてしまった
それまでのデータが汚染されます。リセットして新規テストとしてやり直し推奨。
3つ以上比較できる？
バリアントは何個でも追加可能。ただし多すぎると個別サンプル数不足に陥るので 4個以下推奨。
関連ページ