少樣本 · 零樣本
Few-shot / Zero-shot
什麼是 Few-shot?
- Zero-shot:不給範例,直接下指令
- 少樣本:先給幾個範例
- 提示詞效能的基本功
零樣本與少樣本的差別在於「有沒有範例」,但實務上真正拉開差距的是輸出的落差。零樣本會讓模型依自己的方式解讀指令,所以同樣的要求,每次的句子長度、條列數量與語氣都可能不同。少樣本的範例實際上扮演輸出規格書的角色,因此能讓人難以用言語說明的語氣或格式被原樣複製。請 AI 整理會議紀錄時,「只要重點、簡短」這類指令會因讀者而有不同解讀;但若附上上週一份完成的會議紀錄當範本,標準馬上就清楚了。與其把指令多寫十行,往往兩個寫得好的範例更快見效。
範例並不是越多越好。分類、擷取這類答案格式已定的工作,通常 3~5 個就夠了;再多只會增加Token,準確率幾乎不會再提升。反而範例的組成才是關鍵:每個標籤的數量要大致相同,刻意放入容易混淆的邊界案例,還要留意排在後面的範例會對結果產生更大影響的偏誤。只給一個範例的 One-shot 在固定格式上也相當有效。不過,需要公司專屬知識本身的工作,不屬於 Few-shot 的範疇,而是 RAG 或 微調 的領域。範例只能教「要怎麼回答」,無法補上模型不知道的事實。
現場最常見的失誤,是把真實的客戶資料原封不動貼進範例裡。若把載有姓名、聯絡方式、合約金額的來信當範本,提示詞本身就成了外洩管道。也有人以為範例越多越好,一次貼上 20 個,但過長的提示詞會同時拖慢回應速度、墊高成本。另一個問題是範例會過時:若沿用去年報告格式做的範例,AI 會無視修訂後的格式,一直產出舊樣式。結果不如預期時,很多團隊只顧著改指令,卻找不到原因,最先該懷疑的是範例。
2020 年 OpenAI 的 GPT-3 論文「Language Models are Few-Shot Learners」,證明大型語言模型只靠幾個範例就能執行新任務,使這個概念廣為人知。
我們用一個假設案例來看。員工 210 人、年營收 KRW 48,000,000,000 (≈ US$35,926,500) 的工業零件經銷商 A 公司,客服團隊每天平均要處理 320 封客戶來信,依交期、退貨、報價、技術四類分派給負責人。兩名專員整個上午都耗在這件事上,每週因分類錯誤被退回的信件多達 40 封。他們決定不開發系統,只花三週調整提示詞來解決。
- 客服團隊的金課長只輸入了「請把這封信分類為交期、退貨、報價、技術其中之一」,結果同一封信,上午回答「報價」,下午卻回答「技術」。
- 金課長挑出近三個月信件中經常誤分類的類型,把原文與正確標籤配成 6 個範例,並讓每個類別正好各 1 到 2 個,維持平衡。
- 把範例放到提示詞前面,並加上一行「若無法判斷,請回答『待定』」之後,原本會硬把邊界信件塞進某類別的回答明顯減少了。
- 測試時跑了 100 筆,重看答錯的 17 筆後發現,三個退貨範例全都是單純換貨案例,結果把夾雜運送破損的複合型客訴也一律歸為退貨。
- 金課長將其中兩個範例換成複合型客訴案例,並與主管達成共識:每季重新檢視一次範例。
- 四週後,每週需要人工重新轉寄的信件從 40 件降到 7 件,分類所花的時間也從每天 4 小時縮短為 40 分鐘。金課長說:「六行範例,就抵得上一個人的工作量。」
金鍾赫
Ara Lim