ハイパーパラメータ
Hyperparameter
ハイパーパラメータとは?
- 学習前に人が決める設定値
- 学習率・層の数など
- 性能を大きく左右
ハイパーパラメータは、学習ボタンを押した瞬間にすでに固定されていなければならない値なので、実際にはモデルのコードではなく、実験設計全体を変えてしまいます。構造には一行も手を加えなくても、学習率を10倍に上げるだけで損失が発散して学習が止まり、10分の1に下げると、3日で終わるはずの学習が3週間の日程になってしまいます。チームが使うGPUの時間とクラウドの費用、納期は、ここで先に決まるということです。
値の性質は大きく3つに分かれます。学習方式を決める学習率・バッチサイズ・エポック数、モデル構造を決める層の数・隠れノード数・LoRAランク、過学習を抑えるドロップアウト率・重み減衰係数です。通常、学習率は1e-3から1e-5の間を対数スケールで探索し、組み合わせが数十を超えるとグリッドサーチではなくランダムサーチやベイズ最適化に切り替えます。逆伝播によって自動で更新される値はパラメータ、人が固定する値はハイパーパラメータとして線引きするのが基本で、LLMの温度やtop-pは学習ではなく推論段階の設定なので、別に区別して管理します。
チューニングは無限に回す作業ではなく、予算の中で打ち切るべき作業です。データを学習・検証・テストに6:2:2で分け、検証性能だけを見ながら比較しますが、データが数千件規模と少ない場合は5分割交差検証で平均を確認します。試行回数を20〜30回に抑え、10回連続で検証指標が0.5%ポイントも上がらなければその方向を打ち切る、といった打ち切り基準を事前に文書で残しておくことで、誰がどの設定で何を得たのかを後から再現できるようになります。
現場で最もよくずれるポイントは、テストデータでチューニングしてしまうことです。検証セットとテストセットを区別せず、同じデータで何十回も組み合わせを比べると、その数字はすでに答えを見て合わせた成績になり、運用に載せた瞬間に性能が落ち込みます。'論文に出ていた値をそのまま使いました'というのもよくある誤解で、データ規模やバッチサイズが違えば、同じ学習率でもまったく違う動きをします。バッチを2倍に増やしたなら学習率も一緒に調整すべきだという点を見落としたまま原因をモデル構造に求めていると、数週間を丸ごと無駄にします。
機械学習モデルの設計・学習過程で、'学習によらず、指定して決める値'を指す概念として定着しました。
仮想の事例で見ていきましょう。役職員240名、年商900億ウォン(約1,076,310万円)台の自動車部品メーカーA社は、プレス設備の異常検知モデルに3か月間取り組んでいました。報告書上の検証精度は92%でしたが、現場では1日30件を超える誤検知が出ており、班長たちはアラームを切ったまま作業している状態でした。
- データ分析チームのキム課長が6週間分の実験ログ47件を開いてみると、すべての組み合わせの性能が同じテストセットのスコアだけで比較されており、検証セットはそもそも分けられていませんでした。
- 外部の顧問コンサルタントは'この92%はすでに答えを見て合わせた点数です'と指摘し、設備ログ8万件を学習・検証・テストが6:2:2になるように分け直す作業から始めました。
- 生産技術チーム長が'GPU1台で2週間以内に終わらせろ'と念を押したため、組み合わせを24通りに制限し、ランダムサーチで学習率は1e-3〜1e-5、バッチサイズは32・64・128の範囲だけを探索する形に整理しました。
- バッチを128に増やした組み合わせで損失が発散したため、キム課長は学習率も4分の1に下げて再実験し、ドロップアウトを0.2から0.4に上げて過学習も抑えました。
- 最終設定で再学習したモデルは、テスト精度こそ報告値で89%と3%ポイント下がりましたが、現場の誤検知は1日30件から6件へ減り、班長たちは2週間でアラームを再び有効にしました。
キム・ソンイル
ク・ジャリョン