特徵工程
Feature Engineering
什麼是特徵工程?
- 將原始資料加工為有用的輸入變數
- 「良好的食材前處理」
- 左右傳統 ML 效能
特徵工程實際改變的,並不是模型的效能數字,而是問題本身的難度。即使使用同樣的演算法、放入同樣的表格,欄位保留「加入日 2021-03-14」時,與改為「加入後經過 412 天,最近 30 天訂單 0 筆」時,模型要解的問題已完全不同。因為這是縮小正確答案與輸入之間距離的工作,比起調整超參數想擠出 0.5 個百分點,通常把一個衍生變數做好,成果更大。在順序上,它也是必須在選定要用哪個模型之前完成的工作。
實務上通常分為四類來看。尺度調整的轉換(對數・正規化)、組合原始資料產生新欄位的衍生(最近 90 天加總、與上月相比的增減率)、將類別轉為數字的編碼(One-hot・目標編碼),以及剔除無用欄位的選擇。其中編碼的關鍵在於唯一值數量,若像商品代碼這樣有數千個值的欄位做 One-hot 展開,欄位會暴增,導致訓練變慢並走向過度擬合。從企業內部系統擷取的表格型資料中,「深度學習會自行學習特徵」這種說法不太適用,因此提升法(Boosting)系列模型與人工衍生變數的組合,仍是基本做法。至於像素或波形這類原始資料本身就是高密度訊號的領域,則必須另外區分來看。
現場最常發生的事故就是資料洩漏。在流失預測模型中加入「解約原因代碼」或「違約金請求額」,驗證準確度會飆到 0.95,但這些值要等客戶解約後才會填入,因此在營運環境中總是空的。先用全部訓練資料的平均值做正規化、再切分訓練與驗證集,也是同類型的汙染。若沒有逐欄檢查該值是否為營運時點實際計算得出的流程,在試點中表現良好的模型,到了部署第一週就會崩潰。還有一種情況:相信特徵越多越好,一次塞入 500 個特徵,而無法重現的前處理程式碼一旦堆積,負責人一換,就沒有人敢碰了。
作為傳統機器學習的核心實務,是從資料準備與表徵的重要性中確立下來的。
以下以假設案例說明。員工210人、年營收約 KRW 90,000,000,000 (≈ US$67,362,200) 的食品定期訂購公司A公司,每月訂閱解約率從6.8%升至9.2%,已持續六個月未見改善。數據團隊兩度執行流失預測模型,但準確率仍停留在60%上下,執行長指示「換個模型試試」。團隊決定不更換模型,而是用8週時間重新設計輸入資料。
- 金課長把原始表格的 42 個欄位攤開,先問「這些欄位中,哪些是在解約當天之後才填入值的?」,並將退款處理日、解約原因代碼等 7 個列為洩漏候選而剔除。
- 行銷部 李組長從 CS 客服紀錄中,依最近 30 天與 90 天兩個區間,統計含有「配送延遲」的諮詢件數,為每位客戶設計了 4 項累積抱怨特徵。
- 將約1,800個訂閱商品代碼不攤開為 one-hot,而是歸併為12個類別與5個價格區間,把輸入欄位數從1,800個減為17個。
- 將下單週期改為「本次間隔相對於平均再購間隔的倍數」後,超過平常 1.8 倍的客群,其解約率為其餘客群的 3 倍。
- 部署前夕,金課長在凌晨批次作業中逐一確認是否為實際產生值的欄位,又刪除了 2 個。「只在試點能跑的欄位不用」是團隊的標準。
- 模型本身不動,只改變特徵,流失預測準確度就從 61% 提升到 78%,針對前 10% 客戶發送的優惠券,其解約防禦率也從 12% 改善到 27%。
Sung-il Kim
Ara Im