損失関数
Loss Function
損失関数とは?
- 予測と正解の誤差を数値で
- 学習はこの値を減らしていく過程
- '採点基準'の役割
損失関数をどう定めるかによって、同じデータ・同じ構造のモデルでも全く別物になります。モデルは現場が何を求めているかを知らず、ひたすら損失が小さくなる方向にだけ動くからです。そのため損失関数の設計はコードの作業というより、事業目標を数字に翻訳する作業に近いものです。どの誤差を大きく数え、どの誤差を見逃すかが、そのままモデルが甘受する間違いと避ける間違いを分けます。
回帰では、誤差を二乗するMSEと絶対値を使うMAEが分かれ目になります。誤差10の外れ値1件がMSEでは100にふくれ上がるため、外れ値が多い需要データならMAEやHuberの方が安全です。分類ではクロスエントロピーが基本で、クラスが一方に偏れば重み付けやFocal Lossを加えます。ここで損失と評価指標を区別しなければなりません。損失は微分可能である必要があり、学習中にモデルが見る値です。一方、正確度・F1・再現率は人が成果を判断するときに見る値です。この2つが違う方向を指していると、学習は成功しても、プロジェクトは失敗します。
現場で最もよくある失敗は、損失のグラフはきれいに下がっているのに、現場の指標がびくともしないケースです。不良率1%のラインで、すべて正常と判定するだけでもクロスエントロピーは十分低く出ます。損失が減ったことは、検査性能が良くなったという意味ではありません。もう一つは、コストの非対称性を損失に入れていないことです。不良品を1つ見逃して顧客に流れた際の代償と、問題のない製品をもう一度確認するコストは桁が違いますが、基本の損失関数はこの2つを同じ1件として数えます。損失関数はそのままにして、しきい値だけをいじって持ちこたえようとすると、再学習のたびに同じ問題がそのまま戻ってきます。
統計学・最適化理論の誤差測定の概念に由来し、ニューラルネットワーク学習の目的関数として定着しました。
仮想の事例で見てみましょう。役職員240名、年売上900億ウォン(約1,076,310万円)台の自動車部品会社A社は、外観検査工程にAIを導入しました。全体物量に対する不良率は1.2%で、3か月の学習の末に「正確度98.9%」という報告が経営会議に上がってきました。ところが同じ期間、お取引先からのクレームは月14件から減りませんでした。
- 品質保証チームのパク部長が検査ログを直接開いてみると、実際の不良86件のうち、モデルが弾いたのは11件だけでした。'正確度98.9%は、結局すべて正常と判定した点数ではないですか'という声が会議室から出ました。
- データチームは、不均衡データにクロスエントロピーをそのまま使ったことを原因と見て、不良クラスに重み20を与え、Focal Lossも加えて再学習を実施しました。
- 生産本部長が'不良を1つ見逃すとリコール対応に3000万ウォン(約359万円)、過検出1件は再検査の人件費4000ウォン(約480円)'と断言すると、チームは見逃しのペナルティを過検出の30倍に設定して損失に反映しました。
- 検証で正確度は98.9%から97.4%に下がりましたが、不良検出率は12.8%から79%に上がりました。パク部長は報告指標を正確度の代わりに、検出率と過検出率の2つに変えました。
- 3か月後、顧客企業への流出不良は月14件から2件に減り、過検出率は3.1%から7.6%に増えましたが、増えた再検査の人件費は月60万ウォン(約7.2万円)程度だったため、そのまま維持することに決めました。
キム・ソンイル
イム・アラ