循環神經網路 · RNN/LSTM
Recurrent Neural Network / Long Short-Term Memory
什麼是循環神經網路?
- 記住順序資料並加以處理
- LSTM 改善長脈絡的記憶
- Transformer 出現前的主角
RNN 真正改變的是「不把輸入視為一整塊」這一點。不像影像分類那樣一次把固定大小的輸入全部塞進去,而是在每個時間點重複套用同一組權重,並把隱藏狀態傳遞到下一個時間點。因此長度不一的資料也能用同一個模型處理,10 個字的句子與 50 個字的句子不必各自建立模型。不過,必須等前一個時間點算完,才能算下一個時間點,因此訓練時間會隨序列長度成比例增加。
這一系列大致分為三種。Vanilla RNN 結構簡單,但通常超過 10~20 個時間點後,梯度就會消失,前段幾乎無法使用。LSTM 設有細胞狀態與輸入、遺忘、輸出三個閘門,形成讓記憶穿越的獨立通道;GRU 則將閘門減為兩個,參數約少 25%。實務上,資料量若只有數千筆左右,GRU 往往比 LSTM 更穩定地收斂。
Transformer的分界在於「長度」與「資源」。注意力機制會把所有時間點彼此比較,因此運算量隨長度的平方成長;RNN 系列則與長度成正比,呈線性成長。所以在數萬個時間點的感測器紀錄,或記憶體只有數 MB 的邊緣裝置上,LSTM/GRU 仍是務實的選擇。反之,在翻譯、摘要這類必須一次檢視整句前後關係的工作上,順序處理本身已成為瓶頸。
現場最常出錯的地方在於資料的切分方式。時間序列資料若分析人員照習慣以隨機打亂(shuffle)切分訓練/驗證資料,未來的區段就會混入訓練,結果驗證準確率 95% 的報告獲得核准,上線後卻比既有規則還差。「舊技術就一律改用 Transformer」的說法也是常見的誤解。在只有數千筆標註的內部資料中,大型模型會先過擬合,訓練成本也可能成倍增加。先以 LSTM 建立基準線再進行比較,是較為穩妥的順序。
LSTM 由 1997 年 Hochreiter 與 Schmidhuber 提出,改善了 RNN 的長期記憶問題。
以下以虛構案例說明。年營收 KRW 120,000,000,000 (≈ US$89,816,300)、全體員工 340 名的汽車零組件製造商 A 公司,有 4 台沖壓設備每月平均 3.2 次毫無預警停機,導致整條產線跟著停擺。震動、電流感測器每 1 秒累積一次資料,但因「超過門檻值就發出警報」的規則,每天出現超過 40 筆的誤報,現場乾脆把警報視窗關掉工作。設備保養團隊以 3 個月的概念驗證(PoC)驗證了 LSTM 故障預測。
- 設備保養團隊的金課長擷取近兩年紀錄中,實際故障前 30 分鐘的區段共 87 筆,並以 1:5 的比例與正常區段組成訓練資料。
- 外部顧問資料科學家指出「若打亂後再切分,未來就會教導過去」,因此以 2023 年用於訓練、2024 年用於驗證,依時間點切分資料。
- 以 1 秒為單位的 1,800 步原封不動輸入時,單次訓練要花三天;壓縮為 10 秒平均 180 步後,訓練時間縮短為 4 小時。
- 生產本部長明確表示「誤判一天超過 5 筆,就沒有人會看」,於是將判定門檻值由 0.5 提高到 0.8,優先抑制誤判,而非提高召回率。
- 3 個月後,突發停機由每月 3.2 次降至 1.1 次,誤報則由每天 40 筆降到 4 筆上下,一年減少 約 210 小時的停機時間。
Sung-il Kim
Hye-rang Park