ベンチマーク・モデル評価
Benchmark / Evaluation
ベンチマークとは?
- 標準の試験問題でモデルの性能を測定
- 'どのモデルが優れているか'の判断根拠
- ベンチマークへの過剰最適化に注意
ベンチマークと評価を備えると、モデル会議で交わされる言葉が変わります。'こちらのほうが賢そうだ'という印象論の代わりに、'同じ問題120件で誤答が7件と22件'という数字が根拠になります。さらに大きく変わるのは意思決定のスピードです。プロンプトを直したりモデルのバージョンを上げたりするたびに、変更前より良くなったかを測る手順があれば、デプロイの可否を会議室の声の大きさではなく、スコアボードで決められます。評価の仕組みがないチームは、良くなったのか悪くなったのかも分からないまま変更を続け、ある日現場から品質が落ちたという苦情を受けて初めて、戻すべき地点を見つけられずにいます。
ベンチマークは種類ごとに測る能力が違います。知識・推論型、実際のコード修正課題型、人の好み投票で順位を付けるアリーナ型は、それぞれ別のものを測るため、リーダーボードの1位が自社の課題の1位を意味するわけではありません。評価方法も分かれます。正解がはっきりした課題は自動採点が可能ですが、要約や相談回答のように正解が複数ある課題では、採点基準表を決めて人または別のモデルが採点する方式(LLM-as-judge)を使います。自前の評価は大げさである必要はありません。間違えると実際に困る質問50〜200件があれば十分に始められ、肝心なのはその正解を現場の担当者が直接検収したかどうかです。
現場で最もよくある失敗は、小数点の差を実力の差だと信じてしまうことです。公開スコアの1〜2点の差だけを見てモデルを乗り換えたところ、肝心の自社業務の誤答率が上がるケースは珍しくありません。公開問題が学習データに混入するデータ汚染によってスコアが膨らむこともあります。独自の評価にも落とし穴があります。正解を特定のモデルが書いた回答で作ると、そのモデルに有利な試験問題になり、一度作った評価セットを1年間放置すると、製品や規定が変わった後も古い答えを正解として採点してしまいます。評価データに実際の顧客情報が混ざることも見落としやすいポイントなので、外部モデルで実行する前に非識別化処理を必ず確認しなければなりません。
機械学習研究が公正な性能比較のために標準データセット・ベンチマークを作ってきた伝統から発展し、大規模モデルの時代には多様な能力評価ベンチマークが次々と登場しています。
仮想の事例で見ていきます。従業員420名、年売上2,300億ウォン(約2,750,571万円)の産業用部品メーカーA社の話です。顧客相談の回答草案に使っていたAIモデルを最新モデルに替えるかどうかで、3か月間結論が出ませんでした。'海外ベンチマーク1位'という記事だけが回り、社内の文書で実際に測ってみた人は、誰もいませんでした。
- CSチーム長が直近6か月の相談履歴から'ここを間違えるとクレームに発展する'と思われる質問120件を抜き出し、ベテラン相談員2名と正解の回答を一つずつ検収して独自の評価セットにまとめました。
- AI TFの課長が候補モデル3種に同一のプロンプトで120件を実行した後、事実誤り・規格上の誤答・話し方の適合性の3項目を5点尺度で採点しました。採点者2名が別々に付け、差が出た分だけ再確認しました。
- 結果は予想と違いました。公開ベンチマークで1位のモデルが規格に関する問い合わせで誤答率18%を出し、順位の低かったモデルは7%でした。チーム長は会議で'記事の1位が我々の1位ではなかった'と整理しました。
- 情報システム部の次長は、精度の横にコストと速度を並べました。平均応答6.5秒・3.2秒、月1万2千件基準の月額費用差180万ウォン(約22万円)を表ひとつにまとめ、最終候補を2種に絞り込みました。
- 採用後、相談員が下書きを書き直す割合が34%から12%に下がり、1件あたりの処理時間は平均4分20秒から2分50秒になりました。その後は毎月新規の問い合わせ20件を評価セットに加え、モデルを変えるたびに同じ試験問題で測り直す手順を定着させました。
金鍾赫
キム・ソンイル