遷移學習
Transfer Learning
什麼是遷移學習?
- 把已學會的知識重新用於新任務
- 不必從零學起,快速又省力
- 微調是最具代表性的做法
遷移學習真正改變的是 AI 專案的起跑點。過去會議一開始總是先問「要怎麼蒐集幾萬筆資料」,現在第一個問題則變成「要拿哪個預訓練模型來用」。起跑點不再是 0,而是大約 80,所需資料量從數萬筆降到數百至數千筆,訓練時間也從數週縮短到數小時。因此專案成敗的關鍵不在建模功力,而在於挑選最貼近我們任務的預訓練模型的眼光。
實務上常用的方式有三種:一是凍結前段權重,只新增最後的分類層的特徵擷取;二是以較小學習率重新調整全部權重的完整微調;三是保留原始模型,只訓練小型適配器的 LoRA 等輕量方法。資料若是數百筆,通常適合特徵擷取;數千筆以上,則以微調較為穩妥。在大型語言模型中,將學習的參數降至不到 1% 的輕量方法,實際上已成為預設選項。這裡要區分與檢索增強生成(RAG)角色不同的地方。微調是讓模型熟悉語氣、輸出格式與判斷標準;常變動的事實資訊則由 RAG 負責。
現場最常出現落差的地方,就是「用我們的資料再多訓練,就一定會變聰明」這種期待。用公司內部文件 3,000 份做全面微調後,原本擅長的摘要與翻譯反而崩壞的災難性遺忘很常見;另外,把 200 張不良品影像反覆訓練,驗證準確率衝到 98%,一上產線卻掉到 60% 多的過度擬合也很常見。若預訓練資料與我們的資料性質差異很大(一般照片 → X 光影像),遷移效果幾乎沒有,甚至會造成干擾。動手之前,務必先記錄原始模型的效能,並用同一份驗證集比較;商用模型則要先確認授權合約是否允許微調及再部署,這點必須先看合約。
這是機器學習中的古老概念,隨著大規模預訓練模型(ImageNet、BERT、GPT 等)出現,已成為實務上的標準策略。
我們用一個假設案例來說明。A 公司是員工 240 人規模的工業用閥門製造商,外觀檢查一直全靠肉眼。每天 1,200 件,由 4 名檢驗員逐一查看,下午就容易漏掉瑕疵,客戶抱怨每月攀升到 7 件。雖然考慮導入 AI 檢查,但累積的不良品影像只有 320 張而已。
- 外包廠商回答「至少要拍 3 萬張才行」。品質保證團隊的金組長判斷光拍攝就要花一年,於是改走把以 ImageNet 預訓練的影像模型拿來、只疊上我們自己的資料這條路。
- 生產技術組的朴課長把既有的 320 張依瑕疵、異物、正常三類重新標註,並更換打光角度另外拍攝 780 張,分成訓練 980 張、驗證 120 張。
- 第一次嘗試是將前段全部凍結,只訓練最後的分類層。2週後驗證準確率達到88%,擁有20年資歷的李班長表示:'人看了也難以判斷的東西,它也同樣判錯',並表示認同。
- 確認剩餘誤判多半來自鍍層反光後,僅對上層三層以學習率 1e-5 進行額外微調。使用一張 GPU 耗時 4 小時,雲端費用為 KRW 60,000 (≈ US$45)。
- 第6週連接產線後,不良品檢出率從71%提升至94%,需要人工覆檢的數量從每天1,200件降至180件,檢驗員2名轉任製程改善工作。
金鍾赫
Hye-rang Park