基準測試・模型評估
Benchmark / Evaluation
什麼是基準測試?
- 以標準試題衡量模型效能
- '哪個模型比較好'的判斷依據
- 注意基準測試過度最佳化
具備基準測試與評估之後,模型會議上的討論就會不一樣。「這個好像比較聰明」的印象式評語,會被「同一組 120 題中錯誤分別為 7 題與 22 題」這樣的數字取代,成為決策依據。更大的改變在於決策的速度。每次調整提示詞或升級模型版本時,只要有與變更前比較是否變好的評量流程,就能以計分板而非會議室的音量,決定是否部署。沒有評估體系的團隊,往往在不知道變好還是變差的情況下持續修改,直到某天接到業務單位品質下降的投訴,才發現已找不到可以回復的時間點。
基準測試依種類衡量的能力各不相同。知識・推理型、實際修改程式碼的任務型,以及由人類偏好投票排名的 Arena 型,各自衡量的東西不同,因此排行榜第一名並不代表在我們的任務中也是第一。評估方式也有分別。答案明確的任務可以自動評分,但摘要或客服回覆這類答案不只一個的任務,則採用制定評分標準表,由人或其他模型評分的方式(LLM-as-judge)。自行評估不必大費周章。一旦答錯就會真正造成困擾的 50~200 個問題就足以開始,關鍵在於這些標準答案是否經過現場人員親自審核。
現場最常見的失誤,是把小數點的差距當成實力差距。只看公開分數相差 1~2 分就換模型,結果業務錯誤率反而上升的情況並不少見。公開題目若混入訓練資料,造成的資料污染還可能讓分數虛高。自有評估同樣有陷阱:若把標準答案改成某個特定模型的回答,試題就會對該模型有利;一套評估題集放置一年不更新,產品與規範都已改變,卻仍以舊答案評分。評估資料中混入真實客戶資訊也是常被忽略的環節,送交外部模型測試前,務必先確認已完成去識別化處理。
此概念源自機器學習研究的傳統:為了公平比較效能,業界長年建立標準資料集與基準測試。進入大型模型時代後,各式能力評估基準測試大量問世。
以假設案例來說明。這是員工 420 人、年營收 KRW 230,000,000,000 (≈ US$172,148,000) 的工業零件製造商 A 公司的故事。用於客服回覆草稿的 AI 模型,是否改換成最新模型,爭論了 3 個月仍無定論。市面上只流傳「海外基準測試第一名」的報導,卻沒有人用公司文件實際測量過。
- 客服組長從近 6 個月的諮詢紀錄中,挑出 120 則「答錯就會演變成客訴」的問題,並由 2 位資深客服人員逐一審核正確答覆,彙整成自有評估題集。
- AI TF 課長以相同提示詞,對 3 款候選模型各執行 120 題,並就事實錯誤、規格錯誤、語氣適切性三項,以 5 分量表評分。兩名評分者各自打分,只回頭檢視分數有出入的題目。
- 結果與預期不同。公開基準測試排名第一的模型,在規格詢問上的錯誤率為 18%,排名較低的模型則為 7%。組長在會議上整理為「媒體排名第一,不等於我們的第一」。
- 資訊系統組副理在準確度旁加上成本與速度,以每月 12,000 筆為基準,將平均回應時間 6.5 秒與 3.2 秒、每月成本差距 KRW 1,800,000 (≈ US$1,350) 放進同一張表,把最終候選縮小為 2 款。
- 採用後,客服人員需要重寫草稿的比例從 34% 降至 12%,每件平均處理時間也從 4 分 20 秒縮短為 2 分 50 秒。此後每月再將 20 則新增諮詢加入評估題集,並固定下來:每次更換模型,都以同一份試題重新測試。
金鍾赫
Seong-il Kim