小型語言模型 · sLM
Small Language Model
什麼是小型語言模型?
- 小型輕量語言模型
- 低成本・快速・裝置端
- 針對特定用途進行微調
sLM 真正改變的不是模型的性能表,而是 AI 導入的審批關卡。大型模型每次呼叫都要計費,且資料會流向公司外部,因此法務與資安審查會最先卡關。相較之下,幾 GB 大小的模型可以放在公司伺服器或工作用筆電上運行,即使沒有大型合約,也能先以團隊為單位試用。「先試試看再判斷」的順序變得可行,這是現場最有感的差異。
掌握規模的概念,判斷就會變得容易。一般把 1B~10B 參數等級稱為 sLM,以 FP16 計算的 7B 模型約需 14GB 記憶體,但若以 INT4 進行量化,可降到 4GB 左右,因此連筆電或最新的智慧型手機也能執行。這裡的關鍵不在大小,而在職責分工。在公司內部文件中搜尋、閱讀並依既定格式整理的工作,用 sLM 搭配 RAG 組合就已足夠;而需要回溯多個步驟的成因分析,或冗長的企劃案等需要模型「腦力」的工作,仍然要交給大型模型。
sLM 適合的工作有共通點:輸入形式固定、答案範圍窄,而且每天重複數百次。客服問題分類、諮詢錄音摘要、程式碼自動完成、設備錯誤代碼說明都屬於此類。反之,每次提問都不同的工作,小模型很快就會露出底線。判斷是否導入的標準很簡單:同類型的提問是否每月超過 1,000 件,以及這些答案能否用我方文件加以驗證。
最常見的誤解是 '模型小所以便宜'。模型費用雖低,但建立與管理微調資料的人力成本依然存在。製作數千組 QA 資料需要現場人員投入數週;產品或內部規範一變,就得重新訓練。更危險的是在沒有評估集的情況下更換模型。sLM 較不擅長承認「不知道」,因此錯誤答案也會以流暢的句子呈現。若沒有事先建立200 至 300 題的固定評分表,品質下滑只會以客訴的形式被發現。
作為大型模型在成本、速度與隱私上限制的替代方案而崛起,並隨著蒸餾、量化等輕量化技術的進步而受到關注。
舉個假設性的例子。A 公司是一家生產汽車零件的企業,全體員工 380 人,年營收規模為 KRW 95,000,000,000 (≈ US$71,104,600)。工廠內網與外部網際網路隔絕,現場作業員遇到設備錯誤時,只能翻找紙本手冊,或撥電話給生產技術團隊。一台設備停機,平均 14 分鐘就這樣白白流失。
- 生產技術部的金組長花了三週收集 1,840 則現場提問,發現其中 78% 是重複性提問,例如錯誤代碼解讀與零件更換週期。
- 資訊安全組長明確表示 "工程圖面不得外流,這份報告我簽不了",於是方向轉為:將 7B 模型以 INT4 量化後,部署在工廠內的一台伺服器上。
- 我們整理了設備手冊 2,300 頁與 6 年的保養紀錄,製作出 4,000 組 QA,並微調了兩週,但第一次的正確率只有 61%。
- 12 位現場班長在兩週內試用並標記了 340 則錯誤回答,將這些資料納入再訓練後,正確率從 61% 提升至 88%。
- "請分析這個不良品的根本原因"這類推論性問題,模型經常胡亂作答,因此採用兩階段結構:只有這類每月約 40 至 50 件的問題,才交由通過資安審查的外部 LLM 處理。
- 導入六個月後,設備諮詢的等候時間從 14 分鐘縮短為 3 分鐘;若全部交由雲端 API 處理,估計每月需 KRW 19,000,000 (≈ US$14,200),如今改為含伺服器折舊每月 KRW 2,100,000 (≈ US$1,570) 即可運作。
- 針對特定用途進行微調時
- 重視成本、速度與隱私
- 需要在裝置端運行時
- 多元且複雜的通用任務
- 以最高性能為最優先時
- 用途經常變動的情況
金鍾赫
Seong-il Kim