知識の蒸留
Knowledge Distillation
知識蒸留とは?
- 大きなモデル(先生)→小さなモデル(生徒)
- 性能を保ったまま軽量に
- 量子化と組み合わせた軽量化
知識の蒸留を導入すると、チーム内でやり取りされる問いそのものが変わります。「どのモデルが一番賢いか」ではなく、「この業務に必要な実力を、いくらのモデルで出せるか」を問うようになります。大型モデルはサービスに直接載せるものではなく、学習のシグナルを生み出す設備という位置づけに変わり、実際のトラフィックは小さなモデルが受けます。そのためプロジェクトの成否はモデル選びよりも、先生に何をどれだけ尋ねるかを設計する段階で決まります。
方式は大きく二つに分かれます。先生の内部確率分布(ロジット)まで取り出して使うホワイトボックス蒸留は、重みを開示できるオープンソースモデルでしか使えません。商用APIのように内部が見えない場合は、先生が生成した回答テキストを正解として学習させるブラックボックス(系列レベル)蒸留を使います。量子化・プルーニングとよく併用されますが、そちらは同じモデルの数値精度や結合を削る作業で、蒸留は構造の異なる新しいモデルを育てる仕事です。両者は排他的ではないため、蒸留した生徒モデルに量子化をさらに重ねる組み合わせが、実際のデプロイではよく見られます。
ただし、どんな課題にでも効くわけではありません。汎用的な常識や長い推論を求めるほど生徒は追いつきにくく、問い合わせの分類・要約・社内規定の案内のように範囲が狭く定義された業務では、差が速やかに縮まります。現場では、パラメータを5〜10分の1に減らしつつ、該当業務の評価セットで先生比95%前後を合格ラインに設定します。基準に届かない場合は、データを闇雲に増やすより、先生が出した誤答を取り除く作業を先に手直しします。
最も多い事故は、教師モデルの出力を検証せずに信じることです。教師が誤った答えや古くなった規定を述べると、生徒モデルはその誤りをさらに自信を持って繰り返し、後から原因を追うのも難しくなります。また全体の平均スコアだけを見て配備すると、問い合わせの3〜5%を占める例外ケースで真っ先に崩れるため、失敗タイプごとに分けた評価セットが必要です。商用APIの出力で自社モデルを学習させる行為を規約で禁止している事業者もあるため、法務レビューを省いてはいけません。
ジェフリー・ヒントン(Geoffrey Hinton)らが2015年の論文で、大型モデルの知識を小型モデルへ移す方法として確立しました。
仮想の事例で見てみましょう。年間売上900億ウォン(約1,076,310万円)、役職員240名規模の生活家電メーカーA社です。カスタマーセンターのチャットボットを外部の大型モデルAPIで運用していて、月額利用料が2,700万ウォン(約323万円)まで上がり、繁忙期には応答が平均3.2秒に伸びて、オペレーターへの引き継ぎ問い合わせが積み重なりました。CS本部は3か月以内に、コストと遅延を同時に抑えるよう指示を受けました。
- CS本部長が「月2,700万ウォン(約323万円)なら相談員3名分の人件費だ」と言い切ると、データチーム長は直近6か月の相談ログ18万件を抽出し、教師モデルに通して回答と根拠条項をあわせて生成させました。
- 生成された回答を、CSマネージャー2名が3週間にわたってサンプル検収し、誤答と古くなった返金規定の7.4%を取り除きました。"先生が間違ったことは生徒に絶対に渡さない"がチームの原則でした。
- 生徒モデルには70億パラメータのオープンソースモデルを採用し、社内GPU2枚で11日間ファインチューニングしました。インフラ担当の課長が応答1秒以内、サーバー費用は月500万ウォン(約60万円)以下を合格ラインに設定しました。
- 一次検証では、よく聞かれる200問は教師モデル比96%の正答率でしたが、分割決済のキャンセルのような稀な問い合わせは71%にとどまりました。そこで該当タイプだけ2,300件を追加で蒸留し、再学習させました。
- 8週目の切り替えの結果、API費用は月2,700万ウォン(約323万円)から自社サーバー運用費420万ウォン(約50万円)に減り、平均応答は3.2秒から0.9秒に短縮されました。オペレーターへの引き継ぎ率は12.1%から12.8%へとほぼ同水準を維持しました。
パク・ソリョン
キム・ソンイル