量化 · 輕量化
Quantization
什麼是量化?
- 降低數值精度,讓體積・運算量↓
- 守住效能,更加輕量
- 裝置端(On-Device)的根基
量化真正改變的不是模型的聰明程度,而是能在哪裡運行,以及成本帳單。若要以 fp16 載入 70 億參數的模型,需要 14GB 的 VRAM,必須租用專用GPU伺服器;但壓縮為 4 位元後降到 4GB 左右,就能放進企業內的工作站,甚至一般業務用筆電。因此討論焦點從「該用更好的模型嗎」,轉向「我們的設備裝不裝得下」。每月動輒 KRW 數百萬等級的 GPU 租金,改為購買一台設備的費用;許多無法使用外部 API 的封閉網路工廠或醫院,AI 導入通常也是從這裡開始。
實務上大致分為兩派。經過訓練的模型,事後再縮減的訓練後量化(PTQ)只需幾小時即可完成,多數導入專案都從這裡開始;在訓練階段預先納入精度損失的量化感知訓練(QAT)雖然重新訓練的成本較高,但即使在 4 位元以下仍能守住品質。以數字來看,8 位元的損失幾乎可忽略,是安全的預設值;4 位元雖能把容量縮為四分之一,但各項任務之間的落差很大。另外,只縮減權重,或連同激活值一起縮減,也會有所不同,而真正能帶來速度提升的是後者。它與剪枝、知識蒸餾屬於不同的軸向,因此可以彼此搭配使用。
最常見的誤解,是認為「基準測試分數不變,品質就不變」。平均分數即使只下降 1~2%,需要精確轉錄數字與專有名詞的作業(如品號、帳號、日期)仍會集中出錯,而且上下文越長,差距越大。硬體也是變數:在不支援 INT4 運算的舊型 GPU 上,轉換與還原的過程反而可能讓速度變慢。因此精度應依以我們業務資料建立的自有問題集來挑選,而非公開指標;若跳過此項驗證,成本雖降低,現場卻不相信答案,最後留下的是沒人使用的系統。
將訊號處理與運算領域既有的量化概念套用於深度學習,因應大型模型高效部署的需求而被廣泛採用。
以下以假設案例說明。這是一家全體員工 420 人、年營收 KRW 180,000,000,000 (≈ US$134,724,500) 規模的汽車零件製造商 A 公司的故事。他們以雲端 GPU 運行一套可查找設備手冊與作業標準書的廠內聊天機器人已達 6 個月,每月費用卻已攀升至 KRW 11,800,000 (≈ US$8,830)。更糟的是,提問最多的第 2 廠因資安考量,外部網路已被切斷,屬於封閉網路,連聊天機器人都無法使用。
- 資訊策略組的金課長調出費用明細與連線紀錄後發現,每月 KRW 11,800,000 (≈ US$8,830) 中有一半是夜間閒置時段的費用,而第 2 廠的連線次數為 0 次。
- 外部顧問把原本的 13B 模型壓縮為 4 位元版本一併上線,讓兩者並行運行兩週。VRAM 用量從 26GB 降到 8GB,因此原本閒置在倉庫裡的工作站就能直接跑起來。
- 生產技術組長指出「設備代碼 M-2270 總被截成 M-227 來讀」,於是金課長另外彙整 200 則混雜品號與規格數值的實際提問,重新計算正確率。
- 4 位元為 81%、8 位元為 93%,結果出現明顯落差,A 公司便退而改採 8 位元;同時把使用頻率最高的 30 則問題答案存入快取,以補足使用時的速度感受。
- 六週後,聊天機器人改在廠內 2 台工作站上運作,每月 GPU 費用從 KRW 11,800,000 (≈ US$8,830) 降至 KRW 1,900,000 (≈ US$1,420),平均回應時間也從 3.4 秒縮短為 2.1 秒。第 2 廠的每月使用次數則從 0 次增至 1,400 次。
Sung-il Kim
Ara Im