知識 · AI 基礎

知識蒸餾

Knowledge Distillation

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 4

什麼是知識蒸餾?

一句話定義
將大型模型(老師)的能力轉移到小型模型(學生)上,在盡量維持效能的同時,讓模型更輕量、更快速的技術。
這個主題,改用企業內訓📚 相關課程💬 教育諮詢
⚡ 3 行重點摘要
  • 大型模型(老師)→ 小型模型(學生)
  • 維持效能的同時更輕量
  • 與量化搭配的輕量化

導入知識蒸餾後,團隊內部討論的問題本身也會改變。不再是「哪個模型最聰明」,而是「這項工作需要的能力,能用多大的模型做到」。大型模型不再是直接上線服務的產品,而是變成產生訓練訊號的設備,實際流量則由小模型承接。因此專案的成敗,與其說取決於選哪個模型,不如說取決於設計要向老師提出什麼問題、提出多少這個階段。

方法大致分為兩種。若能取出老師的內部機率分布(logits)來用,稱為白箱蒸餾,只能用在可以開放權重的開源模型上;若像商用 API 一樣看不到內部,則採用黑箱(序列層級)蒸餾,以老師生成的回答文字當作正解來訓練學生。量化與剪枝常被混用,但那是對同一個模型降低數值精度或刪減連結的工作,而蒸餾則是培養結構不同的新模型。兩者並不互斥,因此在蒸餾後的學生模型上再套用量化的組合,在實際部署中相當常見。

不過並非任何任務都適用。越需要通用常識與長篇推理,學生就越難追上;但在文件分類、摘要、內部規定說明等範圍明確界定的工作中,差距會很快縮小。現場通常會把參數縮減為原本的 1/5 至 1/10,並以該業務的評估集為準,將達到老師 95% 左右列為及格線;若未達標,通常不會盲目增加資料,而是先處理過濾老師產出的錯誤答案。

最常見的失誤是不經檢核就全盤相信教師模型。如果教師模型說出錯誤的答案或過時的規定,學生模型會更有自信地重複這些錯誤,事後也很難追查原因。而且如果只看整體平均分數就上線,會在占詢問 3~5% 的例外案例上率先出問題,因此需要依失敗類型拆分的評測集。另外,有些供應商的服務條款禁止以商用 API 的輸出來訓練自家模型,若跳過法務審查就很危險。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
把高手的秘訣濃縮傳授給徒弟——體積小,卻能達到接近大型模型的實力。
為什麼在實務上很重要
讓強大的 AI 能以「更便宜、更快速」的方式使用。這是能降低大型模型成本負擔的實務部署技術。
由來與出處

Geoffrey Hinton 等人在 2015 年的論文中,將其確立為把大型模型的知識轉移到小型模型的方法。

來源 · Hinton et al., Knowledge Distillation(2015)
透過案例理解

以下為虛構案例。年營收 KRW 90,000,000,000 (≈ US$67,362,200)、員工 240 人的家電製造商 A 公司,客服中心的聊天機器人透過外部大型模型 API 運作,月使用費已升至 KRW 27,000,000 (≈ US$20,200),旺季時回應平均拖到 3.2 秒,轉接真人客服的詢問越積越多。客服本部被要求在三個月內同時解決成本與延遲問題。

  1. CS 本部長斬釘截鐵地說「每月 KRW 27,000,000 (≈ US$20,200) 就是三名客服人員的人事成本」,於是資料團隊把最近 6 個月、共 18 萬筆的諮詢紀錄篩選出來,交給教師模型,同時產生回覆與依據條款。
  2. 客服經理 2 人花了 3 週抽樣審核生成的回答,剔除了 7.4% 的錯誤答案與過時的退款規定。「老師錯的,絕不交給學生」是團隊的原則。
  3. 我們以 70 億參數的開源模型作為學生模型,在公司內部的 2 張 GPU 上微調了 11 天。基礎設施科長設定的合格標準是回應 1 秒內、伺服器費用每月 KRW 5,000,000 (≈ US$3,740) 以下。
  4. 第一輪驗證中,常見的 200 題問題,答對率為教師模型的 96%,但像分期付款取消這類少見的詢問只有 71%。因此僅針對此類型再蒸餾 2,300 筆資料,並重新訓練。
  5. 導入第 8 週後的結果:API 月費從 KRW 27,000,000 (≈ US$20,200) 降至自建伺服器的營運費 KRW 4,200,000 (≈ US$3,140),平均回應時間從 3.2 秒縮短為 0.9 秒,而轉接真人客服的比率從 12.1% 變為 12.8%,實質上維持不變。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

並非完全相同,但在特定任務上可以非常接近。成本與速度的優勢很大。
蒸餾是「以小模型轉移知識」,量化則是「降低同一模型的數值精度來輕量化」。兩者也常一起使用。
並不完全相同,但在特定用途上已相當接近。速度與成本上的優勢也很大。
蒸餾是「以小模型轉移知識」,量化則是「降低數值精度以輕量化」。兩者可以搭配使用。