知識 · AI基礎

知識の蒸留

Knowledge Distillation

📂AI基礎⏱読了2分📊応用🔗関連 4

知識蒸留とは?

一行定義
大きなモデル(先生)の能力を小さなモデル(生徒)へ移し、性能をできるだけ保ちながら軽く速くする技法。
このテーマを社内研修で📚 関連研修💬 研修のお問い合わせ
⚡ 3行要約
  • 大きなモデル(先生)→小さなモデル(生徒)
  • 性能を保ったまま軽量に
  • 量子化と組み合わせた軽量化

知識の蒸留を導入すると、チーム内でやり取りされる問いそのものが変わります。「どのモデルが一番賢いか」ではなく、「この業務に必要な実力を、いくらのモデルで出せるか」を問うようになります。大型モデルはサービスに直接載せるものではなく、学習のシグナルを生み出す設備という位置づけに変わり、実際のトラフィックは小さなモデルが受けます。そのためプロジェクトの成否はモデル選びよりも、先生に何をどれだけ尋ねるかを設計する段階で決まります。

方式は大きく二つに分かれます。先生の内部確率分布(ロジット)まで取り出して使うホワイトボックス蒸留は、重みを開示できるオープンソースモデルでしか使えません。商用APIのように内部が見えない場合は、先生が生成した回答テキストを正解として学習させるブラックボックス(系列レベル)蒸留を使います。量子化・プルーニングとよく併用されますが、そちらは同じモデルの数値精度や結合を削る作業で、蒸留は構造の異なる新しいモデルを育てる仕事です。両者は排他的ではないため、蒸留した生徒モデルに量子化をさらに重ねる組み合わせが、実際のデプロイではよく見られます。

ただし、どんな課題にでも効くわけではありません。汎用的な常識や長い推論を求めるほど生徒は追いつきにくく、問い合わせの分類・要約・社内規定の案内のように範囲が狭く定義された業務では、差が速やかに縮まります。現場では、パラメータを5〜10分の1に減らしつつ、該当業務の評価セットで先生比95%前後を合格ラインに設定します。基準に届かない場合は、データを闇雲に増やすより、先生が出した誤答を取り除く作業を先に手直しします。

最も多い事故は、教師モデルの出力を検証せずに信じることです。教師が誤った答えや古くなった規定を述べると、生徒モデルはその誤りをさらに自信を持って繰り返し、後から原因を追うのも難しくなります。また全体の平均スコアだけを見て配備すると、問い合わせの3〜5%を占める例外ケースで真っ先に崩れるため、失敗タイプごとに分けた評価セットが必要です。商用APIの出力で自社モデルを学習させる行為を規約で禁止している事業者もあるため、法務レビューを省いてはいけません。

この用語が登場する研修 · AI・DX
おすすめ研修 · おすすめ講師 · 簡易見積もり
💡 かんたんに言うと
達人の秘伝を弟子に凝縮して伝えるようなもの。小さいながら、大きなモデルに近い実力を発揮します。
実務でなぜ重要なのか
強力なAIを「安く・速く」使えるようにします。大型モデルのコスト負担を減らす、実践的なデプロイ技術です。
由来と出典

ジェフリー・ヒントン(Geoffrey Hinton)らが2015年の論文で、大型モデルの知識を小型モデルへ移す方法として確立しました。

出典 · Hinton et al., Knowledge Distillation(2015)
事例で理解する

仮想の事例で見てみましょう。年間売上900億ウォン(約1,076,310万円)、役職員240名規模の生活家電メーカーA社です。カスタマーセンターのチャットボットを外部の大型モデルAPIで運用していて、月額利用料が2,700万ウォン(約323万円)まで上がり、繁忙期には応答が平均3.2秒に伸びて、オペレーターへの引き継ぎ問い合わせが積み重なりました。CS本部は3か月以内に、コストと遅延を同時に抑えるよう指示を受けました。

  1. CS本部長が「月2,700万ウォン(約323万円)なら相談員3名分の人件費だ」と言い切ると、データチーム長は直近6か月の相談ログ18万件を抽出し、教師モデルに通して回答と根拠条項をあわせて生成させました。
  2. 生成された回答を、CSマネージャー2名が3週間にわたってサンプル検収し、誤答と古くなった返金規定の7.4%を取り除きました。"先生が間違ったことは生徒に絶対に渡さない"がチームの原則でした。
  3. 生徒モデルには70億パラメータのオープンソースモデルを採用し、社内GPU2枚で11日間ファインチューニングしました。インフラ担当の課長が応答1秒以内、サーバー費用は月500万ウォン(約60万円)以下を合格ラインに設定しました。
  4. 一次検証では、よく聞かれる200問は教師モデル比96%の正答率でしたが、分割決済のキャンセルのような稀な問い合わせは71%にとどまりました。そこで該当タイプだけ2,300件を追加で蒸留し、再学習させました。
  5. 8週目の切り替えの結果、API費用は月2,700万ウォン(約323万円)から自社サーバー運用費420万ウォン(約50万円)に減り、平均応答は3.2秒から0.9秒に短縮されました。オペレーターへの引き継ぎ率は12.1%から12.8%へとほぼ同水準を維持しました。
関連用語
この用語に関連する研修
📚エージェントAI実務入門ナヌム経営コンサルティング 企業研修 · 対面/オンラインコースを見る →
このテーマで社内研修が必要でしょうか?
ご担当者さま向けの研修プログラム・お見積もりを、すぐにご覧いただけます。
研修のお問い合わせ
最終更新 2026-09-13 · 監修 金鍾赫

よくある質問

完全に同等ではありませんが、特定の作業では驚くほど近い性能が出ます。コストと速度の利点が大きいです。
蒸留は「小さなモデルへの知識移転」、量子化は「同じモデルの数値精度を下げて軽量化すること」です。両方を組み合わせて使うこともあります。
完全に同じではありませんが、特定の用途では十分に近い性能です。速度・コストの利点が大きいです。
蒸留は'小さなモデルへの知識移転'、量子化は'数値精度を下げて軽量化'です。併用します。