知識 · AI 基礎

逆向傳播

Backpropagation

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 3

逆向傳播是什麼?

一句話定義
神經網路逆向追溯誤差、調整各連結權重以進行「學習」的核心演算法。
對這個主題,安排內部教育📚 相關課程💬 教育洽詢
⚡ 3 行重點摘要
  • 反向追溯誤差,調整權重
  • 神經網路學習的引擎
  • 與梯度下降法成對

反向傳播真正改變的是「追究責任的方式」。在多層堆疊的神經網路中,即使最終答案錯了,也無從得知數百萬個連結中哪一個、錯了多少,因此過去的模型必須由人手動設計「要看什麼」。反向傳播能自動計算責任分配。於是工程師的工作,從手動設計特徵,轉為準備結構與資料,其餘交給機器。

實務上需要把前向傳播與反向傳播分開來看。前向傳播是從輸入往輸出方向計算,得出答案與誤差的階段;反向傳播則是利用微分的連鎖律,沿誤差往回追溯,求出各權重的梯度。兩者常被與梯度下降法混為一談,但角色不同。反向傳播只負責求出梯度,真正改變數值的是最佳化器(SGD、Adam 等)。即使梯度相同,結果仍會因最佳化器與學習率而不同。

還有幾個條件要留意。權重並非每筆資料都調整一次,通常是以 32~256 筆為一組的批次(batch)來更新,把全部資料跑完一輪稱為 1 個 epoch。學習率常從 0.001 上下開始,而這個數值往往決定學習的成敗。太大,損失會震盪發散;太小,跑好幾天也原地踏步。層數一深,梯度往後傳會越來越趨近於 0,也就是 梯度消失,前段的層甚至根本學不會。

現場最常出錯的地方,就是「反向傳播會自動搞定」的想法。反向傳播只是以既有的正確答案為基準來減少誤差,所以即使只有 5% 的資料標錯,它也會忠實地學會那些錯誤,並把它刻進模型裡。垃圾進,就會精準學到垃圾,就是這樣的結構。微調也是如此:若對所有層都做反向傳播,GPU 的成本與時間會成倍增加。不知道「只開放最上層幾層、其餘凍結」這個選項,就把預算燒光的團隊,為數不少。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
考砸之後,回頭檢視「哪裡出了錯」並加以修正——沿著誤差往回追溯,從中學習。
為什麼在實務上很重要
若沒有反向傳播,神經網路就無法自行學習。它是讓深度學習得以實現的學習核心原理。
由來與出處

1986 年 Rumelhart、Hinton 與 Williams 的論文使其廣為人知,並成為神經網路學習的標準演算法。

出處 · Rumelhart, Hinton & Williams(1986)
透過案例理解

以虛構案例來說明。A 公司是生產汽車零件的企業,員工 340 人,年營收規模為 KRW 120,000,000,000 (≈ US$89,816,300)。他們導入檢測外觀瑕疵的 AI,跑了 6 個月,準確率卻停在 82%。結果,檢驗班長每天仍得用肉眼重新檢查 1,800 件,這樣的狀況持續不斷。

  1. 品管組的金課長打開學習紀錄,發現學習率被固定在 0.1。看到損失曲線從第 3 個 epoch 起上下劇烈跳動,他說:「這不是在學習,是在亂撞。」
  2. 外包開發商的李組長把學習率降到 0.001、批次大小設為 64 重新跑。學習 40 個 epoch 後,損失降至 0.31,曲線第一次變得平緩。
  3. 準確率在 87% 再次停滯後,團隊重新翻查了資料。在 1 萬 2 千張檢測影像中,約 600 張的標籤被錯標成刮痕與異物,而模型連這些錯誤答案都忠實地學了進去。
  4. 兩名檢驗班長花了兩週重新標註。有人提出「模糊的就剔除」,但對於判定有分歧的 480 張,他們另外挑出,先協議好重新判定的標準,才放入訓練資料。
  5. 重新學習後,準確率升至 94.2%,需要肉眼複檢的件數從每天 1,800 件降到 210 件。兩名檢驗人員也重新調派到其他產線。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

因為它會把誤差從輸出端往輸入端「反向」傳遞,並據此調整權重。
反向傳播算出「梯度」後,梯度下降法就沿著那個方向更新權重。兩者成對運作。
因為它會把誤差從輸出端往輸入端「反向」傳遞,並據此調整權重。
使用者不必知道。不過,這是理解「神經網路如何學習」的基礎原理。