開源 LLM · 開放權重
Open-Source Large Language Model / Open Weights
什麼是開源 LLM?
- 公開權重、可在自有基礎設施上執行的 LLM
- 資料主權、成本控制與客製化是導入動機
- 只把敏感業務放在私有環境執行的混合架構,是標準做法
掌握權重檔案,意味著把 AI 從服務訂閱轉為資產持有。封閉式 API 只要供應商更新模型或停用舊版本,昨天還正常運作的提示詞輸出就可能改變;下載下來的模型則能整個版本鎖定,一次驗證的結果因而有了有效期限。在每次模型變更都要求重新提交驗證文件的金融、醫療領域,輸出的可重現性會決定能否導入;而在對外網路封閉的網路隔離環境中仍能執行同樣功能,則是它與封閉式模型的分界點。
「開源」一詞其實混合了至少三個層次。只公開權重的「開放權重」、連訓練程式碼與資料組成都公開的「完全公開」、僅限特定條件使用的「限制公開」,都被統稱為「開放模型」。Apache 2.0、MIT 系列的商用條件單純,但採社群授權的模型則附帶月活躍用戶上限、衍生模型命名規定、禁止以輸出結果訓練其他模型等條款。未經法務審查就把 PoC 升級為正式服務,事後才發現違反條款時,就得整個更換模型,並把微調從頭再做一次。
模型大小的選擇,就是 GPU 的預算。8B 等級經 4 位元 量化 後,一張 24GB VRAM 的顯卡就能載入;70B 等級以 fp16 計算約需 140GB,必須把多張高階 GPU 綁在一起。因此實際的配置通常不是「一個大模型包辦一切」,而是把摘要、分類、擷取等範圍窄的工作,分給小模型各自處理。損益平衡點取決於 GPU 稼動率,而不是 Token 單價,因此每天只有幾十件的工作,自行部署反而更貴。
最常見的誤解是「開源就是免費」。GPU 租金、電費、監控,以及夜間故障應變的人事成本每月都會支出,因此使用率偏低時,會比 API 更貴。第二個是「下載下來就安全」,但若把微調用的訓練資料集與推論紀錄以明文累積,同樣的外洩路徑會在公司內部重新形成。第三個是照單全收排行榜分數,英文基準測試排名前段的模型,在貴公司的韓文文件上常出現關鍵句遺漏與公司術語誤譯。在以自家資料 100 筆實際測試之前,不要把公開數字當成結論。
2023 年 Meta 先以研究用途公開 LLaMA,接著推出可商業使用的 LLaMA 2,開放權重生態系因此快速成長。之後 Mistral、Qwen、DeepSeek 等模型陸續縮小與封閉式模型的效能差距,讓「公開模型就足以勝任的工作」範圍不斷擴大。
以下以假設案例說明。全體員工 900 人規模的韓國產險公司 A 公司,過去六個月以封閉式 API 執行客服錄音的自動摘要與客訴類型分類流程。月 Token 費用已攀升至 KRW 23,000,000 (≈ US$17,200),內部稽核又兩度指出客戶姓名與合約編號對外傳輸的架構問題,因此啟動了為期四個月的轉換專案。
- 數位創新團隊的朴組長把三個月的 Token 用量明細攤在 CFO 面前,CFO 隨即回了一句'這筆錢不如租 GPU 划算吧?',會中就把轉換評估列為專案。
- AI 工程師兩人以 200 通實際客服錄音,分別對 8B、32B 等四款公開模型進行比較,其中 32B 模型的摘要準確度達到既有 API 的 94% 左右。
- 法務審查發現首選候選模型的授權條款中,有「月活躍用戶 7 億人」條款與衍生模型命名規定,因此改以條件單純的 Apache 2.0 系列取代首位。
- 基礎架構組的金課長沒有採購伺服器,而是在自家 VPC 租用 2 張 L40S,以 vLLM 上線,但前兩週每秒處理量只有目標的一半,因此批次大小與量化設定重新調整了三次。
- 朴組長只把含有客戶資料的錄音摘要交給私有模型處理,新聞稿初稿與會議記錄整理則維持使用既有的封閉式 API,分成兩條路徑營運。
- 轉換後 4 個月,每月營運成本(含 GPU 租賃與人事費)從 KRW 23,000,000 (≈ US$17,200) 降至 KRW 9,800,000 (≈ US$7,330),對外傳送客戶資料的次數降為 0 次,稽核提出的兩項缺失也全數解決。
金鍾赫
Seong-il Kim