知識 · AI 基礎

循環神經網路 · RNN/LSTM

Recurrent Neural Network / Long Short-Term Memory

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 3

什麼是循環神經網路?

一句話定義
能記住先前資訊、處理有先後順序的資料(句子、語音、時間序列)的循環神經網路(Recurrent Neural Network)與長短期記憶(Long Short-Term Memory)結構。Transformer 出現前的主角。
此主題,可做成企業內訓📚 相關課程💬 內訓洽詢
⚡ 3 行重點摘要
  • 記住順序資料並加以處理
  • LSTM 改善長脈絡的記憶
  • Transformer 出現前的主角

RNN 真正改變的是「不把輸入視為一整塊」這一點。不像影像分類那樣一次把固定大小的輸入全部塞進去,而是在每個時間點重複套用同一組權重,並把隱藏狀態傳遞到下一個時間點。因此長度不一的資料也能用同一個模型處理,10 個字的句子與 50 個字的句子不必各自建立模型。不過,必須等前一個時間點算完,才能算下一個時間點,因此訓練時間會隨序列長度成比例增加。

這一系列大致分為三種。Vanilla RNN 結構簡單,但通常超過 10~20 個時間點後,梯度就會消失,前段幾乎無法使用。LSTM 設有細胞狀態與輸入、遺忘、輸出三個閘門,形成讓記憶穿越的獨立通道;GRU 則將閘門減為兩個,參數約少 25%。實務上,資料量若只有數千筆左右,GRU 往往比 LSTM 更穩定地收斂。

Transformer的分界在於「長度」與「資源」。注意力機制會把所有時間點彼此比較,因此運算量隨長度的平方成長;RNN 系列則與長度成正比,呈線性成長。所以在數萬個時間點的感測器紀錄,或記憶體只有數 MB 的邊緣裝置上,LSTM/GRU 仍是務實的選擇。反之,在翻譯、摘要這類必須一次檢視整句前後關係的工作上,順序處理本身已成為瓶頸。

現場最常出錯的地方在於資料的切分方式。時間序列資料若分析人員照習慣以隨機打亂(shuffle)切分訓練/驗證資料,未來的區段就會混入訓練,結果驗證準確率 95% 的報告獲得核准,上線後卻比既有規則還差。「舊技術就一律改用 Transformer」的說法也是常見的誤解。在只有數千筆標註的內部資料中,大型模型會先過擬合,訓練成本也可能成倍增加。先以 LSTM 建立基準線再進行比較,是較為穩妥的順序。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
由前往後逐步記憶並閱讀句子的方式 — Transformer 出現前,順序處理的主角。
為什麼在實務上很重要
這是處理有順序資料的基礎結構,也是理解現代 LLM(Transformer)的墊腳石。
由來與出處

LSTM 由 1997 年 Hochreiter 與 Schmidhuber 提出,改善了 RNN 的長期記憶問題。

出處 · Hochreiter & Schmidhuber(1997)
透過案例理解

以下以虛構案例說明。年營收 KRW 120,000,000,000 (≈ US$89,816,300)、全體員工 340 名的汽車零組件製造商 A 公司,有 4 台沖壓設備每月平均 3.2 次毫無預警停機,導致整條產線跟著停擺。震動、電流感測器每 1 秒累積一次資料,但因「超過門檻值就發出警報」的規則,每天出現超過 40 筆的誤報,現場乾脆把警報視窗關掉工作。設備保養團隊以 3 個月的概念驗證(PoC)驗證了 LSTM 故障預測。

  1. 設備保養團隊的金課長擷取近兩年紀錄中,實際故障前 30 分鐘的區段共 87 筆,並以 1:5 的比例與正常區段組成訓練資料。
  2. 外部顧問資料科學家指出「若打亂後再切分,未來就會教導過去」,因此以 2023 年用於訓練、2024 年用於驗證,依時間點切分資料。
  3. 以 1 秒為單位的 1,800 步原封不動輸入時,單次訓練要花三天;壓縮為 10 秒平均 180 步後,訓練時間縮短為 4 小時。
  4. 生產本部長明確表示「誤判一天超過 5 筆,就沒有人會看」,於是將判定門檻值由 0.5 提高到 0.8,優先抑制誤判,而非提高召回率。
  5. 3 個月後,突發停機由每月 3.2 次降至 1.1 次,誤報則由每天 40 筆降到 4 筆上下,一年減少 約 210 小時的停機時間。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

LSTM 是 RNN 的一種,透過加入閘門機制,改善了對較長脈絡的記憶能力。
雖然 Transformer 已是主流,但作為順序資料處理的基礎,仍會學習並應用於部分領域。
LSTM 是 RNN 的一種,加入「閘門」機制,讓模型更能記住較長的前後脈絡。
雖然 Transformer 已是主流,但仍會將其作為順序資料處理的基礎來學習,並應用於部分領域。