誤差逆伝播
Backpropagation
誤差逆伝播とは?
- 誤差をさかのぼって重みを調整
- ニューラルネットワーク学習のエンジン
- 勾配降下法と対
誤差逆伝播法が実際に変えたのは、「誰の責任かを突き止める方法」です。層が何重にも重なったニューラルネットワークでは、最終的な答えが間違っていても、数百万本の結合のうちどれがどれだけ悪かったのかを知る術がありませんでした。そのため従来のモデルでは、人が「何に注目させるか」を一つひとつ手で設計して組み込む必要がありました。誤差逆伝播法はこの責任の配分を自動で計算してくれます。その結果、エンジニアの仕事は特徴を自ら組み立てる作業から、構造とデータを用意し、残りを機械に任せる作業へと移っていきました。
実務では順伝播と誤差逆伝播を分けて考える必要があります。順伝播は入力から出力の方向に計算して答えと誤差を出す段階で、誤差逆伝播はその誤差を微分の連鎖律でさかのぼり、各重みの勾配を求める段階です。勾配降下法とひとまとめに語られることが多いのですが、役割は異なります。誤差逆伝播は勾配を求めるだけで、値を実際に変えるのはオプティマイザ(SGD、Adamなど)です。同じ勾配でも、オプティマイザと学習率によって結果が分かれるという意味です。
設定条件も確認が必要です。重みはデータ1件ごとに更新するのではなく、通常32〜256件をまとめたバッチ単位で更新し、全データを一周することを1エポックと呼びます。学習率は0.001前後から始めることが多いのですが、この値ひとつが学習の成否を分けることがよくあります。大きすぎると損失が跳ねて発散し、小さすぎると何日回しても進みません。層が深いと、勾配が後ろへ行くほど0に近づく勾配消失のため、手前の層がまったく学習できないこともあります。
現場で最もよくずれるのは、'誤差逆伝播が勝手にやってくれる'という思い込みです。誤差逆伝播は与えられた正解を基準に誤差を減らすだけなので、ラベルが誤って付いたデータが5%混じっただけでも、その誤りまで忠実に学習してモデルに刻み込みます。ゴミを入れればゴミを正確に学ぶ構造です。ファインチューニングも同じで、全層に誤差逆伝播を回すとGPUのコストと時間が何倍にも膨らみます。上位のいくつかの層だけを開き、残りは凍結しておく選択肢を知らずに予算を使い果たすチームも少なくありません。
1986年、ラメルハート・ヒントン・ウィリアムズの論文によって広く知られるようになり、ニューラルネットワーク学習の標準アルゴリズムとなりました。
仮想の事例で見ていきます。自動車部品を製造するA社は、役職員340名、年間売上高1,200億ウォン(約1,435,081万円)規模です。外観不良を検出する検査AIを6か月間稼働させましたが、精度が82%で止まってしまいました。結局、検査班長が1日1,800個を目視で再確認する状況が続きました。
- 品質チームのキム課長が学習ログを開くと、学習率が0.1に固定されていました。損失グラフが3エポック目から上下に跳ねるのを見て、'これは学んでいるのではなく迷っているのです'と言いました。
- 外注の開発会社のイ・チーム長が、学習率を0.001に下げ、バッチサイズを64に設定して再度回しました。40エポック学習させると、損失が0.31まで下がり、グラフが初めてなだらかになりました。
- 精度が87%でまた止まったため、データを洗い直しました。検査画像1万2千枚のうち約600枚のラベルがスクラッチと異物に取り違えられており、モデルはその誤答まで忠実に学習していました。
- 検査班長2名が2週間かけてラベルを付け直しました。'ぼやけたものは外そう'という意見も出ましたが、判定が割れる480枚は別に集め、再判定の基準を合意したうえで学習データに入れました。
- 再学習後の精度は94.2%に上がり、目視での再検査対象が1日1,800個から210個に減りました。検査要員2名は別のラインへ配置転換されました。
パク・スンテ
キム・ソンイル