監督式學習 · 非監督式學習
Supervised / Unsupervised Learning
什麼是監督式學習?
- 監督式:用附有標準答案的資料學習
- 非監督=無正確答案,發現規律
- 機器學習的兩種方式
選哪一種,不是演算法喜好的問題,而是要先決定專案時程與人事成本。一旦決定走監督式學習,「由誰、以什麼標準、標註多少筆正確答案」就會佔掉整體工時的一半;若改走非監督式學習,標註成本雖然消失,但「判斷結果是否可用」的工作會原封不動落到業務現場身上。因此第一次會議應該提出的問題,不是要用哪個模型,而是我們的資料庫裡有沒有對應正確答案的欄位。
監督式學習又分為分類(流失/留存、不良品/良品)與迴歸(下個月需求量、預估單價)。實務上可用的分類模型,通常每個類別需要數百到數千筆標籤;若是像流失客戶只占全體 3% 的不平衡資料,模型可能拿到 97% 的準確率,卻只會回答「全部正常」。非監督式學習除了 分群 外,也常用於降維與異常偵測。標籤只有數百筆時,混合兩者的是半監督式學習;從資料本身製造問題與答案的,則是自我監督學習,填補兩者之間的空白。強化學習與它的界線在於:不是給正確答案,而是給好壞的獎勵。
現場最常出錯的地方,是「沒有標籤,所以走非監督」這個決定。分群的結果只是編了號的一團團資料;第 3 群要叫「價格敏感族群」,依據不在模型,而要由人來定義。而且把分群數從 4 改成 6,上個月報告裡的客群區隔就會整個消失。反過來,在監督式學習中,過去標籤的偏誤會原封不動地被複製。如果拿業務憑感覺標記「這家好像快走了」的紀錄去訓練,模型預測的不是流失,而是某位業務員的判斷習慣。
| 比較 | 監督式學習 | 非監督式學習 |
|---|---|---|
| 資料 | 有標籤(有正確答案) | 無正確答案 |
| 目的 | 預測(分類、迴歸) | 發現模式・結構 |
| 是 | 流失預測 | 客戶分群 |
這是機器學習初期就確立的基本分類架構,依資料是否有正確答案(標籤)來區分學習方式。
以下以假設案例來說明。員工 240 人、年營收 KRW 110,000,000,000 (≈ US$82,331,600) 的工業耗材經銷商 A 公司,管理 8,400 家定期交貨的客戶。兩年來月流失率一直停在 2.8%,業務本部卻只不斷重複「不知道哪裡有風險」。資料團隊 3 人接下了這項為期 4 個月的專案。
- 資料團隊的 Kim 部長從 ERP 撈出最近 24 個月的交易紀錄,發現 8,400 家交易對象中,只有 1,900 家有記錄流失與否。標準答案欄位連四分之一都沒填滿。
- 召集五位業務主管,統一定義為「連續 3 個月零訂單即視為流失」,並花兩週為過去資料回溯補上 6,200 筆標籤。
- 標籤補齊後,用監督式學習跑流失預測模型,風險前 300 家中有 214 家實際走上流失路線,命中率 71%。
- 同一份資料不給標籤,改以發包週期、品項數與平均單價進行分群,結果出現 6 個群組。業務本部長說:「第 4 群組我們從來沒有單獨管理過。」
- 將小量多品項交易的 1,120 家客戶(第 4 群)指派一名專責 CS,並把 300 家高風險客戶排入拜訪行程。
- 6 個月後,月流失率從 2.8% 降至 1.6%,年化流失營收則從約 KRW 3,400,000,000 (≈ US$2,544,800) 降至 KRW 1,900,000,000 (≈ US$1,422,100)。
金鍾赫
Ja-ryong Gu