A/B 測試
A/B Testing
A/B 測試是什麼?
- 將 A 版與 B 版隨機分組呈現,比較成效
- 不靠'直覺',而是用數據決定更好的版本
- 原則:一次只改一個,並需要足夠的樣本
A/B 測試改變的不是畫面,而是會議室的氣氛。過去是「我覺得藍色按鈕比較好」,由嗓門大的人獲勝;2 週後則變成拿著數字再次集合的場合。更大的效用是行銷人員獲得犯錯的權利。即使 B 方案輸了,也會留下「這個方向不對」的確定資訊,因此落選的方案也會成為下一次實驗的本錢。每年跑 40 次實驗的團隊與每季才全面改版一次的團隊,差距就從這裡拉開。
設計時首先要決定的是樣本與期間。要以信賴水準 95%、檢定力 80% 偵測把轉換率從 2% 提升到 3% 的差異,每組大約需要 2,000~3,000 人。若是每月造訪 5,000 人的 B2B 網站,代表一次測試就要花一個月。因此實務上會把最終詢問之外的下載資料、到達價格頁等微轉換當作第一指標,並為了吸收各星期的差異,至少 2 週不間斷地進行。同時改動多個元素的多變量測試,因為組合數量需要更多樣本,不適合流量少的公司。
容易被混淆的是「改版前後比較」。像「本月轉換率比上月高」這類比較,季節、廣告投放量、競爭對手動態混在一起,無法區分原因。將同一期間的流量隨機分割才是 A/B 的本質,因此可信度與前後比較不同。反之,把流量逐漸集中給獲勝方的賭博機(bandit)方式對短期活動橫幅有利,但無法留下「為什麼會贏」,對學習的累積較為不利。
現場最常見的失誤是中途偷看就停止。第 3 天 B 方案領先就結束,等樣本累積後可能翻盤的差異,就被當成勝利定案了。「統計上顯著」與「能賺錢」是兩回事。即使點擊率提高 12%,若流量無法轉為合約,只會增加業務團隊無謂的驗證時間。還有很多團隊反覆微調按鈕顏色與文案,卻花了半年都看不見提案本身薄弱這個真正的問題。
將統計學的對照實驗(A/B)原理應用於網路與行銷,隨著數位實驗工具的發展,成為標準方法。
以下用假設案例說明。這是員工 90 人、年營收 KRW 13,000,000,000 (≈ US$9,730,100) 規模的工業用感測器製造商 A 公司的故事。產品頁面每月有 4,200 人造訪,但詢價只有 28 件(0.67%)。行銷團隊因「標題只列規格所以不行」與「沒有價格所以不行」意見分歧,已經兩個月原地踏步。
- 金組長說"開會討論是定不下來的,我們就跑 4 週看看吧",於是只改了標題一行,做了兩個版本。A 是「3 軸高精度感測系統」,B 是「設備停機時間減少 30%」。
- 數據負責人李代理明定:每組累積 2,100 人、轉換 40 筆之前絕不停止,並將結束日期固定在行事曆上。同時也訂下團隊規則:'第 2 週不問結果'。
- 每月只有 28 件報價洽詢,無法看出差異,因此將主要指標改為型錄下載數。業務朴部長說:"如果只有下載量增加,最後還是我們辛苦。"於是另外加上 洽詢件數與諮詢有效率作為輔助指標。
- 第 10 天 B 組領先時,執行長說 "乾脆就用 B 吧",但金組長堅持:"現在停下來,結果會翻盤。"於是他們一路跑到預定日期,結果第 15 天的差距果然縮小了一半。
- 4 週後,下載轉換率從 3.1% 提升到 4.4%,報價詢問從每月 28 件增加到 41 件,諮詢有效率從 61% 維持在 64%。團隊將是否公開價格列為第二次測試的主題。
- 造訪量與樣本足夠多時
- 當您要明確驗證單一元素的效果時
- 轉換率仍有改善空間時
- 流量少、統計不出結果時
- 需要同時改動多個元素時
- 更需要快速決斷的初期階段
金鍾赫
Ui-jung Kim