知識 · AI 基礎

基準測試・模型評估

Benchmark / Evaluation

📂AI 基礎⏱閱讀 2 分鐘📊實務🔗相關 4

什麼是基準測試?

一句話定義
以標準試題(基準測試)與評估方法衡量 AI 模型的效能。是判斷'哪個模型比較好'的依據。
想以企業內訓學習本主題📚 相關課程💬 企業內訓洽詢
⚡ 3 行重點摘要
  • 以標準試題衡量模型效能
  • '哪個模型比較好'的判斷依據
  • 注意基準測試過度最佳化

具備基準測試與評估之後,模型會議上的討論就會不一樣。「這個好像比較聰明」的印象式評語,會被「同一組 120 題中錯誤分別為 7 題與 22 題」這樣的數字取代,成為決策依據。更大的改變在於決策的速度。每次調整提示詞或升級模型版本時,只要有與變更前比較是否變好的評量流程,就能以計分板而非會議室的音量,決定是否部署。沒有評估體系的團隊,往往在不知道變好還是變差的情況下持續修改,直到某天接到業務單位品質下降的投訴,才發現已找不到可以回復的時間點。

基準測試依種類衡量的能力各不相同。知識・推理型、實際修改程式碼的任務型,以及由人類偏好投票排名的 Arena 型,各自衡量的東西不同,因此排行榜第一名並不代表在我們的任務中也是第一。評估方式也有分別。答案明確的任務可以自動評分,但摘要或客服回覆這類答案不只一個的任務,則採用制定評分標準表,由人或其他模型評分的方式(LLM-as-judge)。自行評估不必大費周章。一旦答錯就會真正造成困擾的 50~200 個問題就足以開始,關鍵在於這些標準答案是否經過現場人員親自審核。

現場最常見的失誤,是把小數點的差距當成實力差距。只看公開分數相差 1~2 分就換模型,結果業務錯誤率反而上升的情況並不少見。公開題目若混入訓練資料,造成的資料污染還可能讓分數虛高。自有評估同樣有陷阱:若把標準答案改成某個特定模型的回答,試題就會對該模型有利;一套評估題集放置一年不更新,產品與規範都已改變,卻仍以舊答案評分。評估資料中混入真實客戶資訊也是常被忽略的環節,送交外部模型測試前,務必先確認已完成去識別化處理。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
如同大學入學考試般的標準測驗,讓多個模型作答相同題目,比較彼此的實力。
為什麼在實務上很重要
要挑選並改進模型,首先得先「衡量」。基準測試與評估,就是判斷的依據。
由來與出處

此概念源自機器學習研究的傳統:為了公平比較效能,業界長年建立標準資料集與基準測試。進入大型模型時代後,各式能力評估基準測試大量問世。

透過案例理解

以假設案例來說明。這是員工 420 人、年營收 KRW 230,000,000,000 (≈ US$172,148,000) 的工業零件製造商 A 公司的故事。用於客服回覆草稿的 AI 模型,是否改換成最新模型,爭論了 3 個月仍無定論。市面上只流傳「海外基準測試第一名」的報導,卻沒有人用公司文件實際測量過。

  1. 客服組長從近 6 個月的諮詢紀錄中,挑出 120 則「答錯就會演變成客訴」的問題,並由 2 位資深客服人員逐一審核正確答覆,彙整成自有評估題集。
  2. AI TF 課長以相同提示詞,對 3 款候選模型各執行 120 題,並就事實錯誤、規格錯誤、語氣適切性三項,以 5 分量表評分。兩名評分者各自打分,只回頭檢視分數有出入的題目。
  3. 結果與預期不同。公開基準測試排名第一的模型,在規格詢問上的錯誤率為 18%,排名較低的模型則為 7%。組長在會議上整理為「媒體排名第一,不等於我們的第一」。
  4. 資訊系統組副理在準確度旁加上成本與速度,以每月 12,000 筆為基準,將平均回應時間 6.5 秒與 3.2 秒、每月成本差距 KRW 1,800,000 (≈ US$1,350) 放進同一張表,把最終候選縮小為 2 款。
  5. 採用後,客服人員需要重寫草稿的比例從 34% 降至 12%,每件平均處理時間也從 4 分 20 秒縮短為 2 分 50 秒。此後每月再將 20 則新增諮詢加入評估題集,並固定下來:每次更換模型,都以同一份試題重新測試。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

不一定如此。考試分數未必反映貴公司的業務表現,因此自行評估非常重要。
從貴公司真實的問題與資料開始,建立一組小型測試集,與預期答案進行比對。
基準測試成績未必等同實際業務表現。最可靠的做法,是以貴公司的實際任務直接評估。
建議以實際業務案例製作試題,讓多個模型作答相同問題並加以比較。