訓練 · 推論
Training / Inference
什麼是訓練?
- 訓練=教導模型的階段
- 推論:使用已完成訓練模型的階段
- 成本性質不同
一旦把訓練與推論分開來看,AI 預算的性質就會截然不同。訓練是一次投入大筆費用、完成後即告結束的設備投資,比較接近購買機器;推論則像是每當員工提出一個問題,電錶就會跑一次的電費。因此「這套 AI 要多少錢?」其實是兩個問題。若不把建置所需的成本與使用期間的成本分開計算,導入提案可能順利通過,隔年的營運費用卻超出預算。訓練結束後費用就停止,但推論只要服務還在運作,費用就不會停。大多數企業不自行訓練,只購買推論,在這裡審查的重點就完全不同了。
若再細分,訓練也分好幾個層次。以兆級 Token 打造模型本身的預訓練(Pre-training)屬於大型科技公司的領域;企業能動手的範圍,大多是用數百至數千筆範例來調整語氣與輸出格式的微調。相對地,像公司內部規章或單價表這類常變動的知識,不適合靠訓練,而應採用提問時把相關文件找出來附上的方式(RAG)。推論是按 Token 計費,而且輸出單價往往是輸入的數倍,因此答覆限制在 600 字或放寬到 2,000 字,年度帳單可能相差一倍。
現場最常出錯的地方,是「只要把我們的資料拿去訓練,它就會什麼都懂」的期待。微調後的模型語氣雖然變成公司的風格,但不知道上個月已經更動的單價表,還是會很有把握地說出舊數字。若這個回答直接放進報價單送給客戶,就會變成事故。另一個常見錯誤,是把試行費用直接乘上全公司人數。把原本十個人使用的工具開放給三百人,不只使用者數量增加,每人的提問次數與附帶的文件長度也會一起增加,費用遠超過單純的倍數。應以推論費用會隨使用量持續累加為前提,來規劃擴散計畫。
這是機器學習的基本分類。在大型模型時代,「訓練(一次性的龐大成本)」與「推論(每次使用都會產生的成本)」的經濟結構變得格外重要。
以下以假設案例說明。這是一家全體員工 320 人、年營收約 KRW 85,000,000,000 (≈ US$63,619,900) 的工業用閥門製造商 A 公司的故事。海外經銷商進來的技術詢問每天約 40 至 60 件,首次回覆平均要花 4.2 小時,客訴因此不斷累積。經營團隊下令「讓 AI 學習手冊」,資訊策略組隨即以六個月的時程展開評估。
- 資訊策略組的金次長提出要把英文手冊 12,000 頁全部拿去訓練的方案,外部報價卻是三個月 KRW 120,000,000 (≈ US$89,800),會議當場就停了下來。
- 顧問建議將會變動的知識與不會變的語氣分開處理,因此手冊維持以檢索後附加的方式呈現,微調(Fine-tuning)則只使用過去 800 筆諮詢回覆,僅用來確立回答的格式。
- 以 12 位諮詢人員進行為期三週的試行,每月推論費用為 KRW 180,000 (≈ US$135),回覆草稿的撰寫時間從每件 22 分鐘縮短為 7 分鐘。組長表示「這個價格,就全公司開放吧」。
- 財務組李課長以 140 人為基準重新試算,得出每月 KRW 2,100,000 (≈ US$1,570)。後來把回答長度限制在 600 字、並快取重複提問,降到每月 KRW 900,000 (≈ US$675) 上下,才核准擴大使用。
- 導入 6 個月後,首次回覆時間已從 4.2 小時縮短到 40 分鐘。微調只花了一次 KRW 3,200,000 (≈ US$2,400) 就完成,每月推論費用維持在 KRW 940,000 (≈ US$705)。即使單價表變動,只要替換文件就完成了。
金鍾赫
Ara Lim