A/Bテスト
A/B Testing
A/Bテストとは?
- AとBの案を無作為に分けて提示し、成果を比較する
- 「勘」ではなく、データでより良いバージョンを決める
- 一度に一つだけ変え、十分な標本を取るのが原則
A/Bテストが変えるのは画面ではなく、会議室の空気です。「私の考えでは青いボタンのほうが良いと思います」と声の大きい人が勝っていた場が、2週間後に数字を持って再び集まる場へと変わります。さらに大きな効用は、マーケターが間違える権利を確保できることです。B案が負けても「この方向ではない」という確かな情報が残るため、負けた案も次の実験の元手として積み上がります。年40回回すチームと、四半期に一度全面刷新するチームの差は、ここで開いていきます。
設計で最初に決めるべきは、標本数と期間です。転換率2%を3%に引き上げる差を有意水準95%、検定力80%で捉えるには、グループあたりおよそ2,000〜3,000人が必要です。月間訪問が5,000人のB2Bサイトなら、テスト一回に1か月かかるという意味です。そのため実務では、最終問い合わせの代わりに資料ダウンロードや価格ページ到達などのマイクロコンバージョンを一次指標にし、曜日ごとのばらつきを吸収できるよう最低2週間は止めずに回します。要素を同時に複数変える多変量テストは組み合わせの数だけ標本が余分に必要になるため、トラフィックの少ない会社には向きません。
よく混同されるのが「リニューアル前後の比較」です。先月と比べて今月のコンバージョン率が上がったという比較は、季節、広告の出稿量、競合の動きが入り混じって原因を特定できません。同じ期間のトラフィックをランダムに分けることがA/Bの本質であり、そのため前後比較とは信頼性が違います。一方、勝っている側へトラフィックを次第に集中させるバンディット方式は、短期のキャンペーンバナーには有利ですが、「なぜ勝ったのか」を残せないため、学習の蓄積には不利です。
現場で最も多い失敗は、途中で覗いて止めてしまうことです。3日目にB案が先行しているからと終了させてしまうと、標本がさらに集まったときに逆転していたかもしれない差を、勝ちとして固定してしまいます。統計的に有意であることと、利益になることは別物です。クリック率が12%上がっても、その流入が契約につながらなければ、営業チームの無駄な検証時間が増えるだけです。ボタンの色や文言の微調整を繰り返すうちに、提案そのものが弱いという本当の問題を半年間見逃すケースも少なくありません。
統計学の対照実験(A/B)の原理をウェブ・マーケティングに応用したもので、デジタル実験ツールの発展とともに標準的な手法になりました。
仮想の事例で見てみましょう。役職員90名、年間売上高130億ウォン(約155,467万円)規模の産業用センサー製造会社A社の話です。製品ページには月4,200人が訪れるのに、見積もり問い合わせは28件(0.67%)にとどまっていました。マーケティングチームは「見出しがスペックを並べるだけだから」という意見と「価格がないから」という意見に分かれ、2か月間足踏み状態でした。
- キム・チーム長が「会議では決まりません。4週間回してみましょう」と言い、見出しの一行だけを変えた二つのバージョンを作りました。Aは「3軸高精度センサーシステム」、Bは「設備停止時間30%減」でした。
- データ担当のイ代理が、グループあたり2,100人・コンバージョン40件が集まるまで止めないと決め、終了日をカレンダーに固定しました。「2週目に結果を聞かない」ことも、チームのルールとして定めました。
- 月28件しかない見積もり依頼では差を捉えられないため、第一指標をカタログのダウンロードに変えました。営業のパク部長の「ダウンロードだけ増えても現場が苦労するだけです」という意見を受け、お問い合わせ件数と相談の有効率を補助指標として加えました。
- 10日目にBが先行すると、代表は「もうBで行きましょう」と言いましたが、キム・チーム長が「今止めれば逆転されます」と主張して予定日まで続けました。実際、15日目には差が半分に縮まりました。
- 4週間後、ダウンロードのコンバージョン率は3.1%から4.4%へ上がり、見積もり問い合わせは月28件から41件に増えました。相談の有効率は61%から64%で維持されました。チームは価格公開の有無を二次テストの主題に設定しました。
- 訪問数・標本が十分に多いとき
- 一つの要素の効果を明確に検証したいとき
- コンバージョン率に改善の余地があるとき
- トラフィックが少なく統計が出ないとき
- 複数の要素を同時に変えなければならないとき
- 素早い判断がより重要な初期段階
金鍾赫
キム・ウィジュン