フューショット・ゼロショット
Few-shot / Zero-shot
フューショットとは?
- ゼロショット=例示なしで直接
- フューショット=例を数個示して
- プロンプト性能の基本
ゼロショットとフューショットの違いは'例の有無'ですが、実務で差が出るのは出力のばらつきです。ゼロショットでは、モデルが指示文を自分なりに解釈するため、同じ依頼でも文章の長さ、項目数、話し方が毎回変わります。フューショットでは、例が事実上出力の仕様書の役割を果たすため、言葉で説明しにくいトーンや形式もそのまま再現させられます。議事録を整理させるとき、「要点だけ簡潔に」という指示は読む人によって解釈が分かれますが、先週の議事録一件を完成版として添えれば、基準が一度で定まります。指示文を十行増やすより、よく作った例を二つ示す方が早い場合が多いです。
例示は多ければ良いというものではありません。分類・抽出のように回答の形式が決まっている作業は、通常3〜5個で十分で、それ以上はトークンが増えるだけで精度はほとんど上がりません。代わりに例示の構成が重要です。ラベルごとに数をそろえ、判断の迷いやすい境界事例をあえて入れ、後ろに置いた例示ほど結果に大きく反映される偏りまで考慮する必要があります。例示を1つだけ与えるワンショット(one-shot)も、形式を固定するにはかなり効果的です。ただし社内固有の知識そのものが必要な業務は、フューショットではなくRAGやファインチューニングの領域です。例示は「どう答えるか」を教えるだけで、知らない事実を埋めてはくれません。
現場で最も多いミスは、例示に実際の顧客データをそのまま貼り付けてしまうことです。氏名・連絡先・契約金額が含まれたメールをサンプルにすると、プロンプトそのものが情報漏えいの経路になります。例示を増やすほど良くなると考えて20個ずつ貼り付けるケースもありますが、長いプロンプトは応答速度とコストの両方を押し上げます。もう一つは、例示が古くなるという点です。昨年の報告書様式で作った例示をそのまま残すと、AIは改定された様式を無視し、古い形式を延々と出力し続けます。結果がおかしいとき、指示文ばかり直して原因を見つけられないチームが多いのですが、まず疑うべきは例示です。
2020年、OpenAIのGPT-3論文「Language Models are Few-Shot Learners」が、大規模言語モデルは例を数個示すだけで新しいタスクをこなせることを示し、この概念を広く知らしめました。
仮想の事例で見てみましょう。役職員210名、年売上高480億ウォン(約574,032万円)の産業用部品流通会社A社のCSチームは、1日平均320件届く顧客メールを納期・返品・見積もり・技術の4つに分け、担当者へ回していました。社員2名が午前中いっぱいこの業務にかかりきりになり、誤分類で差し戻されるメールが週40件にのぼりました。システム開発をせず、3週間プロンプトだけを手直ししてみることにしました。
- CSチームのキム課長が「このメールを納期・返品・見積もり・技術のいずれかに分類して」とだけ入力したところ、同じメールに対して、午前は見積もり、午後は技術と、違う答えを返しました。
- キム課長は直近3か月のメールから誤分類が多かったタイプを選び、原文と正解ラベルを組にした例を6つ作成しました。カテゴリごとにちょうど1〜2つずつになるよう釣り合いを取りました。
- 例をプロンプトの前に付け、'判断に迷う場合は保留と答えてください'という一行を加えたところ、境界にまたがるメールを無理に当てはめていた回答が目に見えて減りました。
- テストで100件を回して誤った17件を読み返したところ、返品の例3つがすべて単純な交換案件だったため、配送破損が混ざった複合クレームまで返品として処理してしまっていました。
- キム課長は例2つを複合クレームの事例に差し替え、四半期ごとに例を見直すことをチーム長と合意しました。
- 4週間後、再送メールは週40件から7件に減り、分類にかけていた時間は1日4時間から40分になりました。キム課長は'例6行が人ひとり分の仕事'だと話しました。
金鍾赫
イム・アラ