知識 · AI 基礎

小型語言模型 · sLM

Small Language Model

📂AI 基礎⏱閱讀 2 分鐘📊實務🔗相關 4

什麼是小型語言模型?

一句話定義
比大型模型更小、更輕巧的語言模型(Small Language Model)。針對特定用途,以低成本、快速度與裝置端執行為目標。
想將此主題用於企業內訓?📚 相關課程💬 教育諮詢
⚡ 3 行重點摘要
  • 小型輕量語言模型
  • 低成本・快速・裝置端
  • 針對特定用途進行微調

sLM 真正改變的不是模型的性能表,而是 AI 導入的審批關卡。大型模型每次呼叫都要計費,且資料會流向公司外部,因此法務與資安審查會最先卡關。相較之下,幾 GB 大小的模型可以放在公司伺服器或工作用筆電上運行,即使沒有大型合約,也能先以團隊為單位試用。「先試試看再判斷」的順序變得可行,這是現場最有感的差異。

掌握規模的概念,判斷就會變得容易。一般把 1B~10B 參數等級稱為 sLM,以 FP16 計算的 7B 模型約需 14GB 記憶體,但若以 INT4 進行量化,可降到 4GB 左右,因此連筆電或最新的智慧型手機也能執行。這裡的關鍵不在大小,而在職責分工。在公司內部文件中搜尋、閱讀並依既定格式整理的工作,用 sLM 搭配 RAG 組合就已足夠;而需要回溯多個步驟的成因分析,或冗長的企劃案等需要模型「腦力」的工作,仍然要交給大型模型。

sLM 適合的工作有共通點:輸入形式固定、答案範圍窄,而且每天重複數百次。客服問題分類、諮詢錄音摘要、程式碼自動完成、設備錯誤代碼說明都屬於此類。反之,每次提問都不同的工作,小模型很快就會露出底線。判斷是否導入的標準很簡單:同類型的提問是否每月超過 1,000 件,以及這些答案能否用我方文件加以驗證。

最常見的誤解是 '模型小所以便宜'。模型費用雖低,但建立與管理微調資料的人力成本依然存在。製作數千組 QA 資料需要現場人員投入數週;產品或內部規範一變,就得重新訓練。更危險的是在沒有評估集的情況下更換模型。sLM 較不擅長承認「不知道」,因此錯誤答案也會以流暢的句子呈現。若沒有事先建立200 至 300 題的固定評分表,品質下滑只會以客訴的形式被發現。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
不要全能的大型模型,而是「專精特定工作的小型模型」——便宜、快速,還能在裝置上運行。
為什麼在實務上很重要
並非所有工作都需要大型模型。sLM 以低成本、高速度與裝置端運行,讓 AI 更實際地進入日常應用。
由來與出處

作為大型模型在成本、速度與隱私上限制的替代方案而崛起,並隨著蒸餾、量化等輕量化技術的進步而受到關注。

透過案例理解

舉個假設性的例子。A 公司是一家生產汽車零件的企業,全體員工 380 人,年營收規模為 KRW 95,000,000,000 (≈ US$71,104,600)。工廠內網與外部網際網路隔絕,現場作業員遇到設備錯誤時,只能翻找紙本手冊,或撥電話給生產技術團隊。一台設備停機,平均 14 分鐘就這樣白白流失。

  1. 生產技術部的金組長花了三週收集 1,840 則現場提問,發現其中 78% 是重複性提問,例如錯誤代碼解讀與零件更換週期。
  2. 資訊安全組長明確表示 "工程圖面不得外流,這份報告我簽不了",於是方向轉為:將 7B 模型以 INT4 量化後,部署在工廠內的一台伺服器上。
  3. 我們整理了設備手冊 2,300 頁與 6 年的保養紀錄,製作出 4,000 組 QA,並微調了兩週,但第一次的正確率只有 61%。
  4. 12 位現場班長在兩週內試用並標記了 340 則錯誤回答,將這些資料納入再訓練後,正確率從 61% 提升至 88%。
  5. "請分析這個不良品的根本原因"這類推論性問題,模型經常胡亂作答,因此採用兩階段結構:只有這類每月約 40 至 50 件的問題,才交由通過資安審查的外部 LLM 處理。
  6. 導入六個月後,設備諮詢的等候時間從 14 分鐘縮短為 3 分鐘;若全部交由雲端 API 處理,估計每月需 KRW 19,000,000 (≈ US$14,200),如今改為含伺服器折舊每月 KRW 2,100,000 (≈ US$1,570) 即可運作。
何時使用、何時避免
✅ 適合這些情況
  • 針對特定用途進行微調時
  • 重視成本、速度與隱私
  • 需要在裝置端運行時
🚫 這種情況要留意
  • 多元且複雜的通用任務
  • 以最高性能為最優先時
  • 用途經常變動的情況
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

通用性能較低,但針對特定用途微調後就已足夠。成本與速度上的優勢很大。
成本、速度或隱私很重要,或需要在裝置端執行時,特別有利。
通用性能較低,但針對特定用途微調後就已足夠。成本與速度上的優勢很大。
成本、速度或隱私很重要,或需要在裝置端執行時,特別有利。