自監督學習
Self-Supervised Learning
什麼是自監督學習?
- 不靠標籤,從資料中產生答案
- 透過填空猜詞自行學習
- LLM 大規模訓練的關鍵
自監督學習真正改變的不是模型結構,而是資料的經濟學。過去要準備 1 萬筆資料,就得由人工逐筆標上 1 萬次正確答案,標註預算等同於專案規模的上限。如今人工標註的成本轉移到了 GPU 運算時間上——像倉庫一樣只是堆著的內部文件、伺服器日誌、諮詢錄音,都能直接成為學習素材,瓶頸也從'誰來標註'轉為'手上有多少可用的原始資料'。
方式大致分為兩種。BERT 系列的遮罩預測會遮住句子中約 15% 的詞元,再同時參照前後文來還原,因此擅長分類與檢索用的嵌入向量;GPT 系列的下一個詞元預測則只看前面,猜出接下來的字詞,因此擅長生成。在影像方面,把同一張照片裁切、改色後配成一對的對比學習,也運用相同的原理。它很容易與非監督式學習混淆,但與分群這類根本沒有正確答案概念的非監督式學習不同,自監督學習的特點在於答案確實存在,只是資料本身會提供那個答案。
現場導入通常分兩階段進行。先以未標註的內部資料預訓練,讓模型熟悉領域的專業用語與語氣,接著再用數千筆規模的標註資料進行微調。經過領域預訓練後,達到同樣效能所需的標註數量會大幅減少,但是減少,不是歸零。
最常見的誤解是「現在已經完全不需要標籤了」。相信這句話而整筆刪減標註預算的團隊,預訓練結束後也沒有可以衡量效能的評估集,結果好幾個月都無法回答模型到底是變好還是變差。另一個誤解是以為資料放越多就會自動變好,但重複的文件和已作廢的舊指引,也一樣會被學進去。如果五年前已廢止的單價表混在文件堆裡,模型會非常有把握地回答那個單價。前處理與評估集,一定要由人全程把關。
它是因應利用大規模無標籤資料的需求而發展出來的,隨著 BERT、GPT 等大規模預訓練模型的成功,已成為核心方法。
以下為假設案例。生產工業用閥門的 A 公司,全體員工 940 人,年營收為 KRW 410,000,000,000 (≈ US$306,872,400)。過去 20 年累積的設備點檢報告與故障紀錄共 120,000 筆,都只以掃描 PDF 的形式留存。當他們想開發故障類型自動分類模型時,外包標註報價為 KRW 300,000,000 (≈ US$224,500)、工期 6 個月。品質本部則以'這筆錢不如多聘維修人力'為由表示反對。
- 資料分析組的金課長將 12 萬筆資料全部轉為文字後,一筆標籤都沒有加,改以遮住句子中 15% 內容、再讓模型還原的方式,進行了為期 3 週的預訓練。
- 第一個成果不是分類器,而是對專業用語的語感。當系統把「填料漏油」和「壓蓋洩漏」歸為同一類時,一位擁有 15 年資歷的維修班長說:「這傢伙懂現場的話」。
- 接著,兩位維修班長花了 2 週時間,只為 2,000 筆資料加上正確答案,進行微調。原本 12 萬筆要花 KRW 300,000,000 (≈ US$224,500) 的工作,最後只花了 KRW 24,000,000 (≈ US$18,000)。
- 品質本部長將 500 筆評估集另外獨立出來,並明確規定「這些絕對不能放進訓練」,此後每次重新訓練時,這 500 筆就成了唯一的判定標準。
- 結果,故障類型分類的準確率從既有規則式的 71% 提升到89%,每份報告的處理時間平均從 14 分鐘縮短為 3 分鐘,原訂 6 個月的導入期程也縮短為 7 週。
金鍾赫
Seong-il Kim