知識 · AI 基礎

專家混合 · MoE

Mixture of Experts

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 4

什麼是專家混合?

一句話定義
不採用單一巨大模型,改設多個「專家」子模型(Mixture of Experts),依每次輸入只挑選所需專家的高效率架構。
想以企業內訓學習此主題📚 相關課程💬 教育諮詢
⚡ 3 行重點摘要
  • 只啟用多位專家中所需的那幾位
  • 體積大,運算卻省(稀疏活化)
  • 最新大型模型採用

MoE 真正改變的,是模型規模與推論成本原本綁在一起的關係。過去只要把參數增加一倍,每個 Token 的運算量也大約增加一倍。在 MoE 中這兩者被拆開,因此看模型規格時,必須同時確認總參數與活躍參數這兩個數字。答案品質由總量拉高,而帳單上的金額則由活躍量決定。

從結構上來看,通常是把 Transformer 區塊中的 前饋層 切分成多個專家,由路由器以 Token 為單位,只挑出分數最高的一到兩個。若有 64 個專家卻只用 2 個,活躍比例僅約 3%。這裡不能跟集成(Ensemble)搞混。集成是把多個模型全部執行後再合併結果,MoE 則是從一開始就 只挑一個來執行的結構。還有一點,專家不會像「法律專家」「醫療專家」那樣依人類能辨識的領域劃分,而是在 訓練 過程中自然分化,因此 無法由人指定哪個專家負責什麼。為了防止特定專家被過度使用,還要另外加上負載平衡損失一起訓練。

導入判斷的標準其實很單純。若是透過 API 租用使用,MoE 與否只會體現在Token 單價與回應速度上,因此探究內部結構的實益不大。反之,若計畫自行架設模型來運行,情況就完全不同。與達到相同品質的稠密(dense)模型相比,這是記憶體用得更多、運算用得更少的取捨,選購設備的標準本身也會因此改變。

現場最常踩雷的,正是這個記憶體問題。許多人算出'活性參數只有 130 億,一張 GPU 應該就夠了',便著手自建,結果撞上必須把全部總參數都載入記憶體的高牆,設備報價常常跳漲好幾倍。MoE 減少的是運算量,而不是記憶體,這一點被忽略了。同時湧入大量請求時也一樣。若同一批次中的 Token 各自呼叫不同的專家,最終大多數專家都會被喚醒,原本預期的節省效果會在流量最高的時段最先消失。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
就像醫院依症狀只把病人轉給相應的專科醫師一樣——每次只動用部分專家,以此提升效率。
為什麼在實務上很重要
這是「模型做大、成本卻省」的做法。也是理解最新大型模型效率的核心概念。
由來與出處

專家混合的概念於 1991 年由 Jacobs、Hinton 等人的研究提出,在大型語言模型時代,又被視為一種高效擴展的方法而重新受到矚目。

資料來源 · Jacobs、Hinton 等人(1991);Shazeer 等人的稀疏閘控(2017)
透過案例理解

以假設案例來看。員工 240 人規模的產險理賠查定受託機構 A 公司,從去年起將大型語言模型 API 導入客戶詢問的應對。月呼叫量增至 380 萬次,帳單來到 KRW 21,000,000 (≈ US$15,700),經營層明確表示'明年 AI 預算要砍到今年的一半'。等於交下一道為期 3 個月的難題:在不降低品質的前提下,只能壓低成本。

  1. AI 平台組朴組長將 3 萬筆詢問紀錄分類後發現,62% 集中在「保險金給付標準」與「文件重新提交」兩類,其餘則像長尾一樣零散分布。
  2. 朴組長提出改用總參數 1,410 億、活性參數 130 億等級的 MoE 模型方案,並以實際詢問 5,000 筆,在 2 週內直接驗證了廠商所說的'品質相同、Token 單價僅三分之一'。
  3. 負責評估本地端部署(On-premise)並行方案的基礎架構金課長,拿著 8 張 H100 的報價單走進會議,並指出'即使活躍參數只有 130 億,GPU 也得把 1,410 億參數全部載入'。團隊因此放棄自建,改為維持 API 使用。
  4. 當夜間結算詢問一次湧入,回應延遲飆升至平時的 1.7 倍時,我們加上了每小時分批放行 3,000 筆的佇列,並將單純重複的詢問改由快取處理。
  5. 3 個月後,每月 API 費用從 KRW 21,000,000 (≈ US$15,700) 降到 KRW 7,800,000 (≈ US$5,840),客服人員的首次回應時間也從平均 4 分 20 秒縮短為 2 分 50 秒。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

每次都全部使用,成本會暴增。只挑選需要的專家,就能同時兼顧效能與效率。
一般模型永遠使用全部,MoE 則是每次輸入只用其中一部分。能以更低成本達到相同效能。
為了每次只啟用部分專家,在發揮大型效能的同時,節省運算成本。
一般模型每次都動用全部參數,MoE 則「只動用所需的專家」——模型雖大,卻很有效率。