逆向傳播
Backpropagation
逆向傳播是什麼?
- 反向追溯誤差,調整權重
- 神經網路學習的引擎
- 與梯度下降法成對
反向傳播真正改變的是「追究責任的方式」。在多層堆疊的神經網路中,即使最終答案錯了,也無從得知數百萬個連結中哪一個、錯了多少,因此過去的模型必須由人手動設計「要看什麼」。反向傳播能自動計算責任分配。於是工程師的工作,從手動設計特徵,轉為準備結構與資料,其餘交給機器。
實務上需要把前向傳播與反向傳播分開來看。前向傳播是從輸入往輸出方向計算,得出答案與誤差的階段;反向傳播則是利用微分的連鎖律,沿誤差往回追溯,求出各權重的梯度。兩者常被與梯度下降法混為一談,但角色不同。反向傳播只負責求出梯度,真正改變數值的是最佳化器(SGD、Adam 等)。即使梯度相同,結果仍會因最佳化器與學習率而不同。
還有幾個條件要留意。權重並非每筆資料都調整一次,通常是以 32~256 筆為一組的批次(batch)來更新,把全部資料跑完一輪稱為 1 個 epoch。學習率常從 0.001 上下開始,而這個數值往往決定學習的成敗。太大,損失會震盪發散;太小,跑好幾天也原地踏步。層數一深,梯度往後傳會越來越趨近於 0,也就是 梯度消失,前段的層甚至根本學不會。
現場最常出錯的地方,就是「反向傳播會自動搞定」的想法。反向傳播只是以既有的正確答案為基準來減少誤差,所以即使只有 5% 的資料標錯,它也會忠實地學會那些錯誤,並把它刻進模型裡。垃圾進,就會精準學到垃圾,就是這樣的結構。微調也是如此:若對所有層都做反向傳播,GPU 的成本與時間會成倍增加。不知道「只開放最上層幾層、其餘凍結」這個選項,就把預算燒光的團隊,為數不少。
1986 年 Rumelhart、Hinton 與 Williams 的論文使其廣為人知,並成為神經網路學習的標準演算法。
以虛構案例來說明。A 公司是生產汽車零件的企業,員工 340 人,年營收規模為 KRW 120,000,000,000 (≈ US$89,816,300)。他們導入檢測外觀瑕疵的 AI,跑了 6 個月,準確率卻停在 82%。結果,檢驗班長每天仍得用肉眼重新檢查 1,800 件,這樣的狀況持續不斷。
- 品管組的金課長打開學習紀錄,發現學習率被固定在 0.1。看到損失曲線從第 3 個 epoch 起上下劇烈跳動,他說:「這不是在學習,是在亂撞。」
- 外包開發商的李組長把學習率降到 0.001、批次大小設為 64 重新跑。學習 40 個 epoch 後,損失降至 0.31,曲線第一次變得平緩。
- 準確率在 87% 再次停滯後,團隊重新翻查了資料。在 1 萬 2 千張檢測影像中,約 600 張的標籤被錯標成刮痕與異物,而模型連這些錯誤答案都忠實地學了進去。
- 兩名檢驗班長花了兩週重新標註。有人提出「模糊的就剔除」,但對於判定有分歧的 480 張,他們另外挑出,先協議好重新判定的標準,才放入訓練資料。
- 重新學習後,準確率升至 94.2%,需要肉眼複檢的件數從每天 1,800 件降到 210 件。兩名檢驗人員也重新調派到其他產線。
Seung-tae Park
Seong-il Kim