過度擬合
Overfitting
什麼是過度擬合?
- 把訓練資料「死記」下來,對新資料的適應力差
- 只背考試題目的學生
- 泛化失敗
認識過度擬合(overfitting)這個概念後,真正改變的不是模型的表現,而是閱讀成績單的順序。來自訓練資料的 99% 準確率,不再被視為成果,而是尚未驗證的主張;會議上的第一個問題也會從'跑出幾%?'變成'這個數字是從哪些資料算出來的?'。換句話說,判斷的重心從分數本身,移到了分數來源的資料上。
實務上通常將手上的資料大致以 6:2:2 切分為訓練、驗證與測試,並比較訓練表現與驗證表現的差異。通常,當兩者差距拉開到 5~10 個百分點以上,就會懷疑過度擬合。若資料量少,會採用如 5 折交叉驗證等方式變換切分並多次衡量;也可以減少變數數量、加上正則化,或在驗證分數不再提升時停止訓練(提早停止)。不過,若訓練與驗證表現都很低,那不是過度擬合而是欠擬合,此時若把模型再簡化,只會讓情況更糟。
現場最常出錯的地方,是把測試資料拿來當調校的素材,而非用來衡量效能。反覆依測試分數調整設定,調十次、二十次之後,連那份測試資料也會被人為地過度擬合,最後只剩數字漂亮的模型。另一個常見問題,是把時間序列資料隨機打散後切分,未來時點的紀錄混入學習,分數因此被灌水,一上線就崩盤。只看「準確率 96%」一行就核准導入,最後往往是現場被誤報搞得疲憊不堪,半年內就把警示全部關掉。因此報告中一定要附上用什麼資料、在什麼時間點測得的數字這一行說明。
統計學與機器學習的基本概念,指模型學到的不是資料中的訊號,而是連雜訊也一起學進去的問題,是泛化能力的核心議題。
以下以假設案例說明。員工 240 人、年營收 KRW 80,000,000,000 (≈ US$59,877,600) 的汽車零件製造商 A 公司,沖壓產線的設備故障,導致每年停產超過 30 次。經營層指示須於三個月內導入異常徵兆預測模型,由生產技術組與資料分析負責人共同承接。
- 生產技術組的金副理以六個月份的感測器紀錄(42 萬筆)建立預測模型,學習準確率達 98.4% 時便報告:「這樣就夠了,下週直接上線吧。」
- 資料分析負責人李課長用模型從未見過的最近兩個月紀錄重新跑一次,命中率跌至 61%,誤報平均每天高達 14 筆。
- 仔細檢視日誌後發現,設備編號與量測時間原封不動地被當成變數輸入,使得模型記住的不是故障的前兆,而是'3 號機夜間時段'這個標籤。
- 這位李課長把變數從 37 個減到 12 個,並依時間順序切成學習 4 個月、驗證 1 個月、測試 1 個月,重複驗證 5 次。結果學習準確率降至 89%。
- 改為實際投入產線的兩個月間,命中率維持在 84%,誤報也降到每天 3 筆,原本沒有計畫的設備停機從每月 11 次降到 4 次。
Sung-il Kim
Ara Im