過学習
Overfitting
過学習とは?
- 学習データを「丸暗記」してしまい、新しいものに弱い
- 試験問題だけを丸暗記した学生
- 汎化の失敗
過学習という概念を知ると、実際に変わるのはモデルの性能ではなく、成績表の読み方の順序です。学習データから出た精度99%は成果ではなく、まだ検証されていない主張として扱うようになります。会議で最初に投げかける質問も「何パーセント出ましたか」から「その数字をどのデータから抽出しましたか」へ移ります。つまり判断の重みが点数そのものから、点数が出たデータの出所へ移るのです。
実務では、保有データを学習・検証・テストにおおよそ6:2:2で分け、学習性能と検証性能の差を見ます。二つの値の差が5〜10%ポイント以上開くと、過学習を疑うのが一般的な目安です。データが少ない場合は5分割交差検証のように分け方を変えながら何度も測ったり、変数の数を減らしたり、正則化をかけたり、検証スコアがそれ以上上がらない時点で学習を止める早期終了を使います。ただし学習性能と検証性能がどちらも低い場合は、過学習ではなく過小適合なので、モデルをさらに単純にする処方はかえって状況を悪化させます。
現場で最も多い落とし穴は、テストデータを性能測定用ではなく、チューニングの材料として使うケースです。テストの点数を見て設定を直すことを10回、20回と繰り返すと、結局そのテストデータにも過学習してしまい、数字だけがきれいなモデルが残ります。もう一つは時系列データをランダムに混ぜて分けることです。未来時点の記録が学習に入り込み、点数が膨らんで、運用に載せた瞬間に崩れます。「正解率96%」というひと言だけを見て導入を決裁すると、誤警報に疲れた現場が半年で通知を切ってしまう結末につながるため、報告書にはどのデータで、いつ測った数字かを一行、必ず添えなければなりません。
統計学・機械学習の根本的な概念で、モデルがデータの信号ではなくノイズまで学習してしまう問題を指し、汎化性能の核心テーマです。
架空の事例でご説明します。役職員240名、年間売上高800億ウォン(約956,720万円)規模の自動車部品メーカーA社は、プレスラインの設備故障により年間30回を超えて生産が止まる問題を抱えていました。経営陣は3か月以内に異常兆候の予測モデルを導入するよう指示し、生産技術チームとデータ分析担当が共同で取り組みました。
- 生産技術チームのキム次長は、6か月分のセンサーログ42万件で作った予測モデルの学習精度が98.4%に達すると、「この数字なら来週すぐにラインへ載せましょう」と報告しました。
- データ分析担当のイ課長が、モデルが一度も見ていない直近2か月のログで再実行したところ、的中率は61%に落ち込み、誤警報が1日平均14件ずつ出ていました。
- ログを細かく調べると、設備番号と測定時刻がそのまま変数として入っており、モデルが故障の前兆ではなく'3号機の夜間時間帯'というラベルを覚えていました。
- イ課長は変数を37個から12個に減らし、時間順に学習4か月・検証1か月・テスト1か月に分けて5回繰り返し検証しました。その結果、学習精度は89%に下がりました。
- 一方、実際のラインに投入した2か月間は的中率84%を維持し、誤警報は1日3件に減りました。計画になかった設備停止が月11回から4回に減少しました。
キム・ソンイル
イム・アラ