知識 · AI 基礎

參數 · Parameter

Parameters

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 4

什麼是參數?

一句話定義
AI 模型透過訓練調整的內部數值。「OO億參數」代表該模型的規模(所學知識的量)。
想把這個主題辦成企業內訓📚 相關課程💬 內訓諮詢
⚡ 3 行重點摘要
  • 模型透過訓練調整的內部數值
  • 「OO億參數」=規模
  • 與超參數區分

知道參數數量,就等於能用數字算出「我們公司能不能跑這個模型」。每個權重通常佔 2 位元組(FP16),因此 70 億(7B)的模型光是權重就要約 14GB,700 億(70B)則約 140GB的記憶體。一張 GPU(24~80GB)放得下還是得綁多張卡,就在這裡分開,而這個差異會直接反映在 伺服器 報價單與回應速度上。參數不是宣傳文案,而是基礎架構設計的起點。

實務上要分清三件事。第一,總參數與活躍參數。現在常見的 MoE 架構,即使整體有數千億,處理一個 Token 時實際啟動的通常只有數十億等級,因此運作成本比體積小得多。第二是量化。從 16 位元降到 4 位元,記憶體大約減為四分之一,代價是精度會稍微下降。第三是與超參數的界線。訓練的學習率、批次大小是人在訓練前決定的,訓練結束後也不變;參數則在訓練中不斷改變,直到部署時才固定。微調也很少把整體重新訓練,通常採用如 LoRA 這類只調整不到 1% 的方法。

最常踩到的坑,是 「參數越多,應該就會懂我們公司的事」這種期待。即使是 4,000 億參數的模型,也從未學過貴公司的 工作規則與單價表。若不了解這點就直接接上大模型,模型會裝懂,編出看似合理的規定,承辦人再原封不動貼進信件裡。上下文視窗長度與參數量常被混為一談,也很常見。還有一點,若為了省成本過度壓縮量化,日常對話看起來沒問題,金額計算或程式碼卻會悄悄出錯。這就是為什麼驗證題目裡一定要混入數字題。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
類似大腦中突觸的數量。數量越多,能容納的知識越大,但成本也會越高。
為什麼在實務上很重要
選模型時,這是衡量「規模有多大」的標準。了解參數的概念,就能看出效能與成本之間的取捨(trade-off)。
由來與出處

指神經網路的權重與偏置(bias)。模型規模競賽(參數量增加)帶動效能提升,使其成為大型語言模型時代的核心指標。

透過案例理解

我們來看一個假設的案例。全體員工約 430 人的汽車零件製造商 A 公司,計畫在 6 週內上線公司內部規章與技術文件的問答聊天機器人。因為圖面與單價資料混雜在一起,不能使用外部 API,前提是 地端部署(On-premise),但兩個月來都沒能定案「到底該用幾億參數的模型?」。

  1. 資訊策略組金部長接到高層「既然要裝,就裝最大的」的指示,於是以 70B 模型報價。但要湊齊 VRAM 140GB,光是 GPU 4 張,伺服器費用就來到 KRW 62,000,000 (≈ US$46,400)。
  2. 外部顧問把現場實際提出的 300 題抽出來看,82% 是像「特休結轉規定怎麼算?」這類查文件的問題,需要多步驟推論的只有 12 題。
  3. 在 8B 模型上接上公司內部文件檢索(RAG),用同樣的 300 題測試,正確率達 91%;沒有文件、直接執行的 70B 模型則只有 63%。金部長說:「問題不在模型大小,而在資料啊。」
  4. 改用 4 位元量化,記憶體從 16GB 降到 6GB,速度確實提升了,但在單價加總的回答中出現了 3 次數字錯誤,因此只把會計與報價類的提問,分流給維持較高精度的模型處理。
  5. 結果,伺服器投資 從 KRW 62,000,000 (≈ US$46,400) 降到 KRW 14,500,000 (≈ US$10,900),平均回應時間從 4.1 秒縮短為 1.3 秒,月營運費用也從 KRW 3,100,000 (≈ US$2,320) 降為 KRW 880,000 (≈ US$660)。4 個月後,實際使用者從 90 人增加到 310 人。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

一般來說效能會提升,但成本與速度的負擔也會變大。選擇符合工作需求的規模才是關鍵。
資料是「訓練素材」,參數則是透過訓練調整的「模型內部數值」。
不一定。成本與速度也會提高。需要的是符合工作所需的規模,並同時具備良好的資料品質。
參數是模型「內部學到的數值」,資料則是「用來訓練的素材」。兩者不同。