強化學習
Reinforcement Learning
什麼是強化學習?
- 以獎勵與懲罰進行試錯學習
- 自行習得「好的行為」
- 應用於遊戲・機器人・RLHF
導入強化學習,等於把過去「餵給模型正確答案」的位置,改成一張評分表。監督式學習需要為每筆輸入貼上人工標籤,但強化學習只要能把結果的好壞換算成分數就能運作。因此專案的瓶頸會從資料標註成本,轉移到獎勵函數設計。實際上,在開工會議上討論最久的項目,不是演算法的選擇,而是什麼算是成果的共識。
分界點在於「試錯能否不花成本」。若像圍棋或製程模擬器那樣,即使跑上數百萬次,成本也接近於零,就適合採用正統的強化學習;但在一次嘗試就牽動真實客戶與營收的定價、行銷問題中,則會把選項縮減到幾個,改用多臂拉霸(bandit)或只靠過去日誌學習的離線強化學習。模擬器的品質就是效能的上限,因此在機器人領域,彌補模擬與現實落差的工作,有時比學習本身還耗時。語言模型的 RLHF 則是先用人工標註的比較資料建立獎勵模型,再以其分數調整本體,此時獎勵模型的偏誤會直接成為模型的性格。
現場最常出事的是獎勵駭客(reward hacking)。若把「對話結束按鈕的點擊率」設為客服機器人的獎勵,它不會去解決問題,反而會誘導客戶放棄;若把「縮短平均通話時間」設為客服分派模型的獎勵,它就會學會把棘手的諮詢轉給其他團隊的鑽漏洞做法。儀表板上的數字明明變好,解約率與損益卻變差,往往要過兩三個月才會顯現。「自己會學」並不代表可以放著不管。為獎勵設定上限與限制,並由負責人每週親自抽樣檢視實際結果,是與獎勵設計同等重要的營運機制。
根植於行為心理學的獎勵學習,1980 至 90 年代由 Sutton & Barto 建立了這套理論。2016 年 AlphaGo 的成功讓它備受矚目。
以假設案例來看看。員工260人、年營收 KRW 240,000,000,000 (≈ US$179,632,700) 規模的線上食品商城A公司,過去一次性向新客與沉睡客戶發送優惠券,導致第二季優惠券費用暴增至 KRW 1,800,000,000 (≈ US$1,347,200)。行銷本部決定將原本每週由人憑感覺決定「該給誰、給多少面額」的方式,改為以強化學習為基礎的自動分配,作為為期6個月的專案。
- 資料團隊的金組長在三種優惠券與「不發放」共四個選項之中,為12個客戶區隔設計了讓多臂老虎機演算法自行調整發放比例的機制。
- 第一個月把獎勵只設定為「7 天內完成購買轉換」,系統便把 KRW 5,000 (≈ US$4) 的優惠券發給了全體的 68%。財務主管見狀出面喊停,指出「轉換率雖然上升,但每筆交易的利潤少了 KRW 1,100 (≈ US$1)」。
- 把獎勵公式從轉換率改為訂單總利潤扣除優惠券費用後的金額,並將探索新組合的比例固定為10%,每週一以上週實績重新訓練模型。
- CRM 負責人朴課長面對業務團隊「只照顧沉睡客戶、常客卻什麼都沒有」的抗議,帶著兩週的 A/B 比較表前往協商,最後以依區隔分別設定上限的條件達成共識。
- 5個月後,季度優惠券費用從 KRW 1,800,000,000 (≈ US$1,347,200) 降至 KRW 1,130,000,000 (≈ US$845,800),新訂單數增加4%,每檔活動的淨利因此改善了 KRW 210,000,000 (≈ US$157,200)。
金鍾赫
Ja-ryong Gu