再帰型ニューラルネットワーク · RNN/LSTM
Recurrent Neural Network / Long Short-Term Memory
再帰型ニューラルネットワークとは?
- 順序データを記憶しながら処理
- LSTMは長い文脈の改善
- トランスフォーマー以前の主役
RNNが実際に変えたのは、'入力をひとかたまりとして見ない'という点です。画像分類のように固定サイズの入力を一度に流し込む代わりに、同じ重みのセットを時点ごとに繰り返し適用し、隠れ状態を次の時点へ渡します。おかげで長さがまちまちのデータを1つのモデルで処理でき、10単語の文と50単語の文に別々のモデルを作る必要がなくなります。その代わり、前の時点の計算が終わらないと次の時点を計算できないため、学習時間はシーケンス長に比例して延びます。
系統は大きく3つに分かれます。バニラRNNは単純ですが、通常10~20時点を超えると勾配が消失し、前の部分はほぼ使えなくなります。LSTMはセル状態と入力・忘却・出力の3つのゲートを備え、記憶が通り抜ける別個の経路を作った構造です。GRUはゲートを2つに減らしたことで、パラメータが約25%少なくなります。実務では、データが数千件程度であれば、GRUの方がLSTMより安定して収束するケースが多く見られます。
トランスフォーマーとの境界は'長さ'と'リソース'で分かれます。アテンションはすべての時点を互いに比較するため、計算量が長さの二乗で増えますが、RNN系は長さに比例して線形に増えます。そのため、数万時点分のセンサーログや、メモリがわずか数MBのエッジ機器では今もLSTM/GRUが現実的な選択です。逆に、翻訳・要約のように文全体の前後関係を一度に見極める必要がある仕事では、逐次処理そのものがボトルネックになりました。
現場で最もよくつまずくのは、データの分け方です。時系列データなのに分析担当者が習慣どおりランダムシャッフルで学習・検証に分けると、未来の区間が学習に混ざり、検証精度95%を報告して承認を得たものの、運用では既存のルールより劣る結果になります。'古い技術だから何でもトランスフォーマー'という言い方も、よくある誤解です。ラベルが数千件しかない社内データでは、大きなモデルがまず過学習し、学習コストだけが何倍にもなります。まずLSTMで基準線を立ててから比較する順序が安全です。
LSTMは1997年、ホッホライター(Hochreiter)とシュミットフーバー(Schmidhuber)が提案し、RNNの長期記憶の問題を改善しました。
架空の事例で見てみます。年間売上1,200億ウォン(約1,435,081万円)、役職員340名の自動車部品メーカーA社は、プレス設備4台が月平均3.2回予告なく停止し、ライン全体が止まるという問題を抱えていました。振動・電流センサーが1秒単位でデータを蓄積していましたが、「閾値を超えたらアラーム」というルールのせいで1日40件を超える誤検知が出て、現場はアラーム画面を切ったまま作業していました。設備保全チームが3か月のPoCでLSTMによる故障予測を検証しました。
- 設備保全チームのキム課長が、直近2年分のログから実際の故障直前30分の区間87件を抽出し、正常区間と1:5の比率で学習データを構成しました。
- 外部アドバイザーのデータサイエンティストが「混ぜて分けると未来が過去を教えてしまいます」と指摘し、2023年は学習・2024年は検証と時点で切り分けました。
- 1秒単位の1,800ステップをそのまま入れたところ1回の学習に3日かかったため、10秒平均の180ステップに圧縮したら学習時間が4時間に短縮されました。
- 生産本部長が「誤検知が1日5件を超えたら誰も見ません」と釘を刺し、判定閾値を0.5から0.8に引き上げて、再現率より誤検知の抑制を優先しました。
- 3か月後、突発停止は月3.2回から1.1回に、誤検知は1日40件から4件台に減り、年間の非稼働時間を約210時間取り戻しました。
キム・ソンイル
パク・ヘラン