損失函數
Loss Function
什麼是損失函數?
- 把預測與正解之間的誤差換算成數字
- 學習就是降低這個值的過程
- '評分標準'的角色
損失函數要設定成什麼,同樣的資料、同樣結構的模型,就會變成完全不同的東西。模型並不知道現場想要什麼,它只會朝著損失變小的方向前進。因此設計損失函數與其說是寫程式,不如說更接近把商業目標翻譯成數字的工作。哪些誤差要計得重、哪些誤差可以睜一隻眼閉一隻眼,會直接決定模型該承擔哪些錯誤、又該避免哪些錯誤。
在迴歸中,會分為以平方計算誤差的 MSE,與以絕對值計算誤差的 MAE。誤差為 10 的一筆離群值,在 MSE 中會被放大成 100,因此若需求資料中常有劇烈跳動的數值,MAE 或 Huber 會更穩妥。分類則以交叉熵為基礎,若類別偏向某一側,就再加上權重或 Focal Loss。這裡必須區分損失與評估指標。損失必須可微分,是模型在學習過程中看的值;準確率、F1、召回率則是人用來判斷成效的值。若兩者指向不同方向,學習即使成功,專案仍會失敗。
現場最常見的失誤,是損失曲線漂亮地下降,業務指標卻紋風不動。在不良率 1% 的產線上,即使全部都判成正常,交叉熵也會算得足夠低。損失下降,並不代表檢驗性能變好。另一個問題是沒有把成本的不對稱納入損失。漏掉一件不良品、流到客戶端所付出的代價,與把完好產品再檢查一次的成本,相差好幾個數量級,但基本損失函數把這兩者都當作同樣的一筆來計算。若損失函數維持原樣,只靠調整門檻值硬撐,每次重新學習時,同樣的問題就會原封不動地回來。
源自統計學與最佳化理論的誤差測量概念,後來成為神經網路學習的目標函數。
以下以假設案例來說明。員工 240 名、年營收 KRW 90,000,000,000 (≈ US$67,362,200) 上下的汽車零組件公司 A 公司,在外觀檢驗製程導入了 AI。全部產量中的不良率為 1.2%,經過 3 個月學習後,「準確率 98.9%」的報告被呈上經營會議。然而同一期間,客戶抱怨仍維持每月 14 件,毫無減少。
- 品質保證組的 Park 部長親自打開檢驗紀錄,發現實際不良品 86 件中,模型只攔下了 11 件。會議室裡隨即有人說:'98.9% 的準確率,不就是把所有東西都判成正常得來的分數嗎?'
- 資料團隊認為原因在於對不平衡資料直接使用交叉熵,於是為不良品類別加上權重 20,並一併套用 Focal Loss 重新進行學習。
- 生產本部長明確表示:'漏掉一件不良品,召回處理要花 KRW 30,000,000 (≈ US$22,500);一件過檢,重新檢驗的人工成本只要 KRW 4,000 (≈ US$3)。'團隊於是把漏檢的懲罰設為過檢的 30 倍,反映到損失函數中。
- 驗證階段的準確率從 98.9% 降至 97.4%,但不良品檢出率卻從 12.8% 升至 79%。Park 部長於是將報告指標改為檢出率與過檢率兩項,取代準確率。
- 3個月後,流向客戶的不良品從每月 14 件降到 2 件;過度檢出率從 3.1% 升到 7.6%,但增加的複檢人工成本約為每月 KRW 600,000 (≈ US$450),因此決定維持現行設定。
Sung-il Kim
Ara Im