知識 · AI 基礎

自監督學習

Self-Supervised Learning

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 3

什麼是自監督學習?

一句話定義
無需人工標註,直接從資料本身產生題目與答案、自行學習的方式。也是 LLM 的核心祕訣。
將此主題導入企業內訓📚 相關課程💬 教育洽詢
⚡ 3 行重點摘要
  • 不靠標籤,從資料中產生答案
  • 透過填空猜詞自行學習
  • LLM 大規模訓練的關鍵

自監督學習真正改變的不是模型結構,而是資料的經濟學。過去要準備 1 萬筆資料,就得由人工逐筆標上 1 萬次正確答案,標註預算等同於專案規模的上限。如今人工標註的成本轉移到了 GPU 運算時間上——像倉庫一樣只是堆著的內部文件、伺服器日誌、諮詢錄音,都能直接成為學習素材,瓶頸也從'誰來標註'轉為'手上有多少可用的原始資料'。

方式大致分為兩種。BERT 系列的遮罩預測會遮住句子中約 15% 的詞元,再同時參照前後文來還原,因此擅長分類與檢索用的嵌入向量;GPT 系列的下一個詞元預測則只看前面,猜出接下來的字詞,因此擅長生成。在影像方面,把同一張照片裁切、改色後配成一對的對比學習,也運用相同的原理。它很容易與非監督式學習混淆,但與分群這類根本沒有正確答案概念的非監督式學習不同,自監督學習的特點在於答案確實存在,只是資料本身會提供那個答案。

現場導入通常分兩階段進行。先以未標註的內部資料預訓練,讓模型熟悉領域的專業用語與語氣,接著再用數千筆規模的標註資料進行微調。經過領域預訓練後,達到同樣效能所需的標註數量會大幅減少,但是減少,不是歸零。

最常見的誤解是「現在已經完全不需要標籤了」。相信這句話而整筆刪減標註預算的團隊,預訓練結束後也沒有可以衡量效能的評估集,結果好幾個月都無法回答模型到底是變好還是變差。另一個誤解是以為資料放越多就會自動變好,但重複的文件和已作廢的舊指引,也一樣會被學進去。如果五年前已廢止的單價表混在文件堆裡,模型會非常有把握地回答那個單價。前處理與評估集,一定要由人全程把關。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
「我早上吃了___」填空猜詞 — 正確答案就在句子裡,因此不需要標籤也能學習。
為什麼在實務上很重要
無需標註即可用龐大資料學習,讓大型語言模型等大規模預訓練成為可能。
由來與出處

它是因應利用大規模無標籤資料的需求而發展出來的,隨著 BERT、GPT 等大規模預訓練模型的成功,已成為核心方法。

透過案例理解

以下為假設案例。生產工業用閥門的 A 公司,全體員工 940 人,年營收為 KRW 410,000,000,000 (≈ US$306,872,400)。過去 20 年累積的設備點檢報告與故障紀錄共 120,000 筆,都只以掃描 PDF 的形式留存。當他們想開發故障類型自動分類模型時,外包標註報價為 KRW 300,000,000 (≈ US$224,500)、工期 6 個月。品質本部則以'這筆錢不如多聘維修人力'為由表示反對。

  1. 資料分析組的金課長將 12 萬筆資料全部轉為文字後,一筆標籤都沒有加,改以遮住句子中 15% 內容、再讓模型還原的方式,進行了為期 3 週的預訓練。
  2. 第一個成果不是分類器,而是對專業用語的語感。當系統把「填料漏油」和「壓蓋洩漏」歸為同一類時,一位擁有 15 年資歷的維修班長說:「這傢伙懂現場的話」。
  3. 接著,兩位維修班長花了 2 週時間,只為 2,000 筆資料加上正確答案,進行微調。原本 12 萬筆要花 KRW 300,000,000 (≈ US$224,500) 的工作,最後只花了 KRW 24,000,000 (≈ US$18,000)。
  4. 品質本部長將 500 筆評估集另外獨立出來,並明確規定「這些絕對不能放進訓練」,此後每次重新訓練時,這 500 筆就成了唯一的判定標準。
  5. 結果,故障類型分類的準確率從既有規則式的 71% 提升到89%,每份報告的處理時間平均從 14 分鐘縮短為 3 分鐘,原訂 6 個月的導入期程也縮短為 7 週。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

監督式學習需要人工標註的標籤,自監督學習則從資料本身產生答案,因此不需要標籤。
因為不需要標註成本,就能用網路上龐大的文字學習,使大規模預訓練成為可能。
監督式學習需要人工標註的標籤,自監督學習則是從資料本身產生答案。
不需要標註成本,就能用網路上龐大的文字學習,因此大規模預訓練成為可能。