微調
Fine-tuning
什麼是微調(Fine-tuning)?
- 在已學習的模型上,針對特定任務進行額外學習
- 符合語氣與領域
- 以少量資料進行專門化
微調之後,原本每次都要附在提示詞裡送出的指令,會進入模型內部。例如'第一行先道歉、正文三段、最後附上負責人聯絡方式'這類規則,原本每次呼叫都要連同十個範例一起送出,現在則在學習階段一次刻進模型。因此改變的是模型不是它所知道的知識,而是回答的'行為模式'。提示詞變短後,每次呼叫的token與回應延遲都會減少,同時也能解決各負責人各自調整提示詞所造成的輸出差異。
方法大致分為三種。更新模型全部權重的全參數微調,對設備與成本負擔很大;只加上部分參數的 LoRA、Adapter 等系列(PEFT),只需一張 GPU 即可運作,因此在韓國實務上大多採用此方式。使用商用 API 廠商的微調功能時,只需上傳資料檔即可,但學習資料會傳送到外部。所需資料量在任務越窄時越少:文件分類或固定輸出格式約需數百筆,語氣與文風移轉通常從 1,000 至 3,000 筆「輸入-正確答案」配對開始才會看到明顯效果。大致的界線可以這樣劃分:經常變動的事實(價格、規定、庫存)用 RAG,不常變動的格式、語氣與判斷標準用微調。
現場最常出錯的地方,是'只要把我們的文件餵進模型訓練,模型就會把內容背下來'這種期待。如果把手冊 PDF 整份拿來微調,模型學到的不是內容本身,而是文件的語氣,數字和條文還會被寫得煞有其事地虛構出來。規定變更時,RAG 只要替換一份文件即可,微調則必須修正資料並重新訓練;而且一旦基礎模型升級到更高版本,微調成果也會一併作廢。另外容易忽略的是,若訓練資料裡混有過去承辦人不順的用語,或未遮蔽的客戶姓名,這些內容也會被原樣重現。若事先沒有留出約 200 筆評估題目,最後很容易只憑「感覺比以前好」來下結論。
以已預先訓練(pre-training)的模型,針對特定任務或資料進行額外學習的概念。此概念源自遷移學習(transfer learning)的研究脈絡,隨著大型語言模型的普及,在實務上被廣泛運用。
以假設的案例來說明。這是一家員工 240 人、年營收約 900 億韓元的家具製造與銷售公司 A 的客服中心故事。每日平均有 400 件諮詢郵件,由 11 位客服人員處理。即使開始使用生成式 AI 撰寫初稿,客服人員幾乎每次都還是得重寫句子的情況仍反覆發生。以下是過去三個月檢討導入微調(fine-tuning)的過程。
- CX 團隊的金組長抽出 100 筆初稿檢視,其中 62 筆需要修改後才能寄出。客服人員也一再反映:'道歉的句子太美式,讀起來對我們的客戶顯得高傲'。
- 花了三週在提示詞中附上 12 個標準回答範例進行實驗,但每次呼叫的 token 增為四倍,回應平均延遲到 4.2 秒,結論是在忙碌時段難以使用。
- 從近兩年約 3 萬件諮詢信件中,挑出 1,800 則未再被追問的優良回覆,由營運團隊 2 人花 2 週時間遮蔽客戶姓名、訂單編號與電話號碼,整理成問答配對。
- AI 導入負責人朴課長在開源小型模型上以 LoRA 方式進行了 3 次重新訓練,總訓練成本落在 KRW 600,000 (≈ US$450) 多元。不過,配送政策與贈品規定這類每季都會變動的內容,沒有動到模型,而是交由 RAG 處理。
- 上線前以 200 題評測題目,分別評分語氣適配度與規範正確度。第一版訓練模型的語氣合格,但有 9 件捏造規範數字的案例,因此將該類型全部改由 RAG 處理。
- 導入兩個月後,初稿修改率從 62% 降到 21%,每封信件的平均撰寫時間也從 11 分鐘縮短到 4 分鐘。提示詞變短後,每月 API 費用也減少了 38%。
金鍾赫
Ara Lim