知識 · AI 基礎

開源 LLM · 開放權重

Open-Source Large Language Model / Open Weights

📂AI 基礎⏱閱讀 3 分鐘📊實務🔗相關 4 篇

什麼是開源 LLM?

一句話定義
公開模型權重(參數),讓任何人都能下載並在自有伺服器上執行、修改的語言模型(Large Language Model),是重視資料主權與成本控制的企業建構私有 AI 的基礎。
這個主題,改為企業內訓📚 相關課程💬 教育洽詢
⚡ 3 行重點摘要
  • 公開權重、可在自有基礎設施上執行的 LLM
  • 資料主權、成本控制與客製化是導入動機
  • 只把敏感業務放在私有環境執行的混合架構,是標準做法

掌握權重檔案,意味著把 AI 從服務訂閱轉為資產持有。封閉式 API 只要供應商更新模型或停用舊版本,昨天還正常運作的提示詞輸出就可能改變;下載下來的模型則能整個版本鎖定,一次驗證的結果因而有了有效期限。在每次模型變更都要求重新提交驗證文件的金融、醫療領域,輸出的可重現性會決定能否導入;而在對外網路封閉的網路隔離環境中仍能執行同樣功能,則是它與封閉式模型的分界點。

「開源」一詞其實混合了至少三個層次。只公開權重的「開放權重」、連訓練程式碼與資料組成都公開的「完全公開」、僅限特定條件使用的「限制公開」,都被統稱為「開放模型」。Apache 2.0、MIT 系列的商用條件單純,但採社群授權的模型則附帶月活躍用戶上限、衍生模型命名規定、禁止以輸出結果訓練其他模型等條款。未經法務審查就把 PoC 升級為正式服務,事後才發現違反條款時,就得整個更換模型,並把微調從頭再做一次。

模型大小的選擇,就是 GPU 的預算。8B 等級經 4 位元 量化 後,一張 24GB VRAM 的顯卡就能載入;70B 等級以 fp16 計算約需 140GB,必須把多張高階 GPU 綁在一起。因此實際的配置通常不是「一個大模型包辦一切」,而是把摘要、分類、擷取等範圍窄的工作,分給小模型各自處理。損益平衡點取決於 GPU 稼動率,而不是 Token 單價,因此每天只有幾十件的工作,自行部署反而更貴。

最常見的誤解是「開源就是免費」。GPU 租金、電費、監控,以及夜間故障應變的人事成本每月都會支出,因此使用率偏低時,會比 API 更貴。第二個是「下載下來就安全」,但若把微調用的訓練資料集與推論紀錄以明文累積,同樣的外洩路徑會在公司內部重新形成。第三個是照單全收排行榜分數,英文基準測試排名前段的模型,在貴公司的韓文文件上常出現關鍵句遺漏與公司術語誤譯。在以自家資料 100 筆實際測試之前,不要把公開數字當成結論。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
就像外食(封閉式 API)與自己下廚(開源 LLM)的差別:外食方便,但廚房(資料)要交給別人;自己下廚能掌控廚房,但需要烹飪設備(GPU)與廚藝(營運能力)。
為什麼在實務上很重要
對於受法規規範、重視資安的企業而言,導入生成式 AI 的務實途徑,就是以開源 LLM 進行私有部署;對於使用量大的企業,這也是改變成本結構的替代方案。
⚠️ 常見誤解
很容易就認定'開源就是免費又安全',但基礎設施與營運成本相當可觀,授權條件也因模型而異。若未經總體擁有成本(TCO)評估與法務審查就導入,反而可能比封閉式 API 更貴,也更有風險。
由來與出處

2023 年 Meta 先以研究用途公開 LLaMA,接著推出可商業使用的 LLaMA 2,開放權重生態系因此快速成長。之後 Mistral、Qwen、DeepSeek 等模型陸續縮小與封閉式模型的效能差距,讓「公開模型就足以勝任的工作」範圍不斷擴大。

來源 · 開源 AI 生態系(Hugging Face 等) · 查看原文
透過案例理解

以下以假設案例說明。全體員工 900 人規模的韓國產險公司 A 公司,過去六個月以封閉式 API 執行客服錄音的自動摘要與客訴類型分類流程。月 Token 費用已攀升至 KRW 23,000,000 (≈ US$17,200),內部稽核又兩度指出客戶姓名與合約編號對外傳輸的架構問題,因此啟動了為期四個月的轉換專案。

  1. 數位創新團隊的朴組長把三個月的 Token 用量明細攤在 CFO 面前,CFO 隨即回了一句'這筆錢不如租 GPU 划算吧?',會中就把轉換評估列為專案。
  2. AI 工程師兩人以 200 通實際客服錄音,分別對 8B、32B 等四款公開模型進行比較,其中 32B 模型的摘要準確度達到既有 API 的 94% 左右。
  3. 法務審查發現首選候選模型的授權條款中,有「月活躍用戶 7 億人」條款與衍生模型命名規定,因此改以條件單純的 Apache 2.0 系列取代首位。
  4. 基礎架構組的金課長沒有採購伺服器,而是在自家 VPC 租用 2 張 L40S,以 vLLM 上線,但前兩週每秒處理量只有目標的一半,因此批次大小與量化設定重新調整了三次。
  5. 朴組長只把含有客戶資料的錄音摘要交給私有模型處理,新聞稿初稿與會議記錄整理則維持使用既有的封閉式 API,分成兩條路徑營運。
  6. 轉換後 4 個月,每月營運成本(含 GPU 租賃與人事費)從 KRW 23,000,000 (≈ US$17,200) 降至 KRW 9,800,000 (≈ US$7,330),對外傳送客戶資料的次數降為 0 次,稽核提出的兩項缺失也全數解決。
相關術語
相關 AI 工具
與此術語相關的課程
📚用自家資料打造會回答的 AI——RAG 入門Nanum 經營顧問 企業內訓 · 現場/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

模型本身可以免費下載,但執行所需的 GPU 基礎設施與營運人力都要花錢。用量少時 API 計費較划算,用量大時自行架設通常較便宜,因此應視為「固定成本對變動成本」的選擇,而非「免費對付費」。
開源原則上是指連訓練程式碼與資料都公開、可自由重現與修改的情況;開放權重則是只公開訓練完成的權重。包括 LLaMA 在內,大多數公開模型嚴格來說屬於開放權重,而且各模型的授權條件也不盡相同。
頂尖封閉式模型在許多領域仍居領先,但差距持續縮小。在摘要、分類、結構化回應等範圍窄的工作上,經過微調的公開模型往往更好。用「自家業務評測集」直接比較,是唯一可靠的方法。
商業使用是否允許、使用者數與用途的限制條款、衍生模型(微調成果)的發布條件,以及產出內容的權利歸屬。曾有企業只因聽到'開源'二字就導入,結果違反授權條款的案例,建議務必經過法務審查。