📂AI 基礎⏱閱讀 2 分鐘📊實務🔗相關 4

什麼是訓練?

一句話定義
訓練(training)是用資料「教導」模型的階段;推論(inference)是實際使用已訓練的模型來取得答案的階段。
想以企業內訓學習此主題📚 相關課程💬 教育洽詢
⚡ 3 行重點摘要
  • 訓練=教導模型的階段
  • 推論:使用已完成訓練模型的階段
  • 成本性質不同

一旦把訓練與推論分開來看,AI 預算的性質就會截然不同。訓練是一次投入大筆費用、完成後即告結束的設備投資,比較接近購買機器;推論則像是每當員工提出一個問題,電錶就會跑一次的電費。因此「這套 AI 要多少錢?」其實是兩個問題。若不把建置所需的成本與使用期間的成本分開計算,導入提案可能順利通過,隔年的營運費用卻超出預算。訓練結束後費用就停止,但推論只要服務還在運作,費用就不會停。大多數企業不自行訓練,只購買推論,在這裡審查的重點就完全不同了。

若再細分,訓練也分好幾個層次。以兆級 Token 打造模型本身的預訓練(Pre-training)屬於大型科技公司的領域;企業能動手的範圍,大多是用數百至數千筆範例來調整語氣與輸出格式的微調。相對地,像公司內部規章或單價表這類常變動的知識,不適合靠訓練,而應採用提問時把相關文件找出來附上的方式(RAG)。推論是按 Token 計費,而且輸出單價往往是輸入的數倍,因此答覆限制在 600 字或放寬到 2,000 字,年度帳單可能相差一倍。

現場最常出錯的地方,是「只要把我們的資料拿去訓練,它就會什麼都懂」的期待。微調後的模型語氣雖然變成公司的風格,但不知道上個月已經更動的單價表,還是會很有把握地說出舊數字。若這個回答直接放進報價單送給客戶,就會變成事故。另一個常見錯誤,是把試行費用直接乘上全公司人數。把原本十個人使用的工具開放給三百人,不只使用者數量增加,每人的提問次數與附帶的文件長度也會一起增加,費用遠超過單純的倍數。應以推論費用會隨使用量持續累加為前提,來規劃擴散計畫。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
就像在學校學習(訓練)與畢業後用於實務(推論)——製作時與使用時本來就不一樣。
為什麼在實務上很重要
這是理解 AI 成本與速度結構的基礎。只要知道'訓練很貴,推論會不斷重複',導入時的判斷就會變得容易。
由來與出處

這是機器學習的基本分類。在大型模型時代,「訓練(一次性的龐大成本)」與「推論(每次使用都會產生的成本)」的經濟結構變得格外重要。

透過案例理解

以下以假設案例說明。這是一家全體員工 320 人、年營收約 KRW 85,000,000,000 (≈ US$63,619,900) 的工業用閥門製造商 A 公司的故事。海外經銷商進來的技術詢問每天約 40 至 60 件,首次回覆平均要花 4.2 小時,客訴因此不斷累積。經營團隊下令「讓 AI 學習手冊」,資訊策略組隨即以六個月的時程展開評估。

  1. 資訊策略組的金次長提出要把英文手冊 12,000 頁全部拿去訓練的方案,外部報價卻是三個月 KRW 120,000,000 (≈ US$89,800),會議當場就停了下來。
  2. 顧問建議將會變動的知識與不會變的語氣分開處理,因此手冊維持以檢索後附加的方式呈現,微調(Fine-tuning)則只使用過去 800 筆諮詢回覆,僅用來確立回答的格式。
  3. 以 12 位諮詢人員進行為期三週的試行,每月推論費用為 KRW 180,000 (≈ US$135),回覆草稿的撰寫時間從每件 22 分鐘縮短為 7 分鐘。組長表示「這個價格,就全公司開放吧」。
  4. 財務組李課長以 140 人為基準重新試算,得出每月 KRW 2,100,000 (≈ US$1,570)。後來把回答長度限制在 600 字、並快取重複提問,降到每月 KRW 900,000 (≈ US$675) 上下,才核准擴大使用。
  5. 導入 6 個月後,首次回覆時間已從 4.2 小時縮短到 40 分鐘。微調只花了一次 KRW 3,200,000 (≈ US$2,400) 就完成,每月推論費用維持在 KRW 940,000 (≈ US$705)。即使單價表變動,只要替換文件就完成了。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

屬於推論。是對已完成訓練的模型提問、取得答案的過程。
大多不需要。直接使用已訓練好的模型進行推論,必要時才做微調。
屬於「推論」階段——實際使用已完成訓練的模型,取得答案的過程。
大多不是。會直接運用公開或商用模型(推論),必要時才進行微調(Fine-tuning)。