自己教師あり学習
Self-Supervised Learning
自己教師あり学習とは?
- ラベルなしでデータから正解を生成
- 穴埋めで自ら学習
- LLM大規模学習の秘訣
自己教師あり学習が実際に変えたのはモデル構造ではなく、データの経済性です。以前は1万件のデータを使うのに、人の手で1万回正解を付ける必要があり、そのラベリング予算がプロジェクト規模の上限でした。今では人によるラベリングのコストがGPU時間へと移ります。倉庫に積まれたままだった社内文書、サーバーログ、相談の音声記録がそのまま学習素材になり、ボトルネックは「誰がラベルを付けるか」から「使える元データがどれだけあるか」へ移ります。
方式は大きく二つの流れがあります。BERT系のマスク予測は、文のトークンの約15%を隠してから前後の文脈をすべて見て復元するため、分類・検索用の埋め込みに強く、GPT系の次トークン予測は前側だけを見て続く単語を当てるため、生成に強いです。画像では、同じ写真を切り取り色を変えた二枚を一組にまとめる対照学習が同じ原理を使います。教師なし学習と混同しやすいですが、クラスタリングのように正解という概念がない手法とは異なり、自己教師あり学習は正解は明確に存在するが、データが自らその正解を生み出すという点が異なります。
現場への導入は通常2段階で進みます。ラベルのない社内データで事前学習をさせ、ドメインの用語や言い回しを覚えさせた後、数千件規模のラベルデータで微調整するという順序です。ドメインの事前学習を経ると、同じ性能を出すのに必要なラベル数は大きく減りますが、減るのであって0になるわけではありません。
最もよくある誤解は「もうラベルは全く必要ない」というものです。この言葉を信じてラベリング予算を丸ごと削減したチームは、事前学習を終えても性能を測る評価セットがなく、モデルが良くなったのか悪くなったのか誰も答えられないまま数か月を過ごします。もう一つは、データをたくさん入れれば自然に良くなるという期待ですが、重複文書や廃止された過去の指針も同じように学習されます。5年前になくなった単価表が文書の山に混ざっていると、モデルはその単価を非常に自信を持って答えます。前処理と評価セットだけは、人が最後まで付き添わなければなりません。
ラベルのない大規模データを活用する必要性から発展し、BERTやGPTなどの大規模事前学習モデルの成功によって中核的な手法となりました。
仮想の事例で見てみましょう。産業用バルブを製造するA社は、役職員940名、年間売上4,100億ウォン(約4,903,192万円)規模の企業です。20年間蓄積された設備点検報告書と故障履歴12万件がスキャンPDFのままで残っていました。故障タイプの自動分類モデルを作ろうとしたところ、外注ラベリングの見積もりは3億ウォン(約3,588万円)、6か月とのことでした。品質本部は「そのお金があれば整備要員をもっと採用すべきだ」と反対しました。
- データ分析チームのキム課長が12万件をすべてテキストに変換し、ラベルは1件も付けずに文の15%を隠して復元させる方式で、3週間かけて事前学習を回しました。
- 最初の成果物は分類器ではなく、用語の感覚でした。「パッキン漏油」と「グランド漏れ」を同じ系統にまとめると、15年目の整備班長が「こいつは現場の言葉が分かっている」と言いました。
- その後、整備班長2名が2週間かけて2,000件にだけ正解を付けて微調整しました。12万件に3億ウォン(約3,588万円)かかるはずだった作業が、2,400万ウォン(約287万円)で済んだわけです。
- 品質本部長は評価セット500件を別に取り分け、「これは絶対に学習に入れないこと」と念を押しました。この500件が、その後の再学習のたびに唯一の判定基準になりました。
- その結果、故障タイプ分類の正確度は従来のルールベースの71%から89%に上がり、報告書1件あたりの処理時間は平均14分から3分に短縮され、6か月の計画だった導入期間は7週間に縮まりました。
金鍾赫
キム・ソンイル