參數 · Parameter
Parameters
什麼是參數?
- 模型透過訓練調整的內部數值
- 「OO億參數」=規模
- 與超參數區分
知道參數數量,就等於能用數字算出「我們公司能不能跑這個模型」。每個權重通常佔 2 位元組(FP16),因此 70 億(7B)的模型光是權重就要約 14GB,700 億(70B)則約 140GB的記憶體。一張 GPU(24~80GB)放得下還是得綁多張卡,就在這裡分開,而這個差異會直接反映在 伺服器 報價單與回應速度上。參數不是宣傳文案,而是基礎架構設計的起點。
實務上要分清三件事。第一,總參數與活躍參數。現在常見的 MoE 架構,即使整體有數千億,處理一個 Token 時實際啟動的通常只有數十億等級,因此運作成本比體積小得多。第二是量化。從 16 位元降到 4 位元,記憶體大約減為四分之一,代價是精度會稍微下降。第三是與超參數的界線。訓練的學習率、批次大小是人在訓練前決定的,訓練結束後也不變;參數則在訓練中不斷改變,直到部署時才固定。微調也很少把整體重新訓練,通常採用如 LoRA 這類只調整不到 1% 的方法。
最常踩到的坑,是 「參數越多,應該就會懂我們公司的事」這種期待。即使是 4,000 億參數的模型,也從未學過貴公司的 工作規則與單價表。若不了解這點就直接接上大模型,模型會裝懂,編出看似合理的規定,承辦人再原封不動貼進信件裡。上下文視窗長度與參數量常被混為一談,也很常見。還有一點,若為了省成本過度壓縮量化,日常對話看起來沒問題,金額計算或程式碼卻會悄悄出錯。這就是為什麼驗證題目裡一定要混入數字題。
指神經網路的權重與偏置(bias)。模型規模競賽(參數量增加)帶動效能提升,使其成為大型語言模型時代的核心指標。
我們來看一個假設的案例。全體員工約 430 人的汽車零件製造商 A 公司,計畫在 6 週內上線公司內部規章與技術文件的問答聊天機器人。因為圖面與單價資料混雜在一起,不能使用外部 API,前提是 地端部署(On-premise),但兩個月來都沒能定案「到底該用幾億參數的模型?」。
- 資訊策略組金部長接到高層「既然要裝,就裝最大的」的指示,於是以 70B 模型報價。但要湊齊 VRAM 140GB,光是 GPU 4 張,伺服器費用就來到 KRW 62,000,000 (≈ US$46,400)。
- 外部顧問把現場實際提出的 300 題抽出來看,82% 是像「特休結轉規定怎麼算?」這類查文件的問題,需要多步驟推論的只有 12 題。
- 在 8B 模型上接上公司內部文件檢索(RAG),用同樣的 300 題測試,正確率達 91%;沒有文件、直接執行的 70B 模型則只有 63%。金部長說:「問題不在模型大小,而在資料啊。」
- 改用 4 位元量化,記憶體從 16GB 降到 6GB,速度確實提升了,但在單價加總的回答中出現了 3 次數字錯誤,因此只把會計與報價類的提問,分流給維持較高精度的模型處理。
- 結果,伺服器投資 從 KRW 62,000,000 (≈ US$46,400) 降到 KRW 14,500,000 (≈ US$10,900),平均回應時間從 4.1 秒縮短為 1.3 秒,月營運費用也從 KRW 3,100,000 (≈ US$2,320) 降為 KRW 880,000 (≈ US$660)。4 個月後,實際使用者從 90 人增加到 310 人。
金鍾赫
Seong-il Kim