転移学習
Transfer Learning
転移学習とは?
- 学習済みの知識を新しい作業に再利用
- ゼロから学習せず、素早く
- 代表的な手法はファインチューニング
転移学習が実際に変えるのは、AI案件の出発点です。以前は「データを数万件どう集めるか」から議論が始まっていましたが、今は「どの事前学習モデルを持ってくるか」が最初の問いになります。出発点が0ではなく80程度になるため、必要なデータは数万件から数百〜数千件へ減り、学習時間も数週間から数時間へ短くなります。そのため案件の成否は、モデリングの実力よりも自社の課題に近い事前学習モデルを選ぶ目利きで分かれます。
実務で使われる方法は大きく3つです。前段の重みはそのまま凍結して最後の分類層だけを新たに付ける特徴抽出、全体の重みを小さい学習率で再調整する全体ファインチューニング、原本は残して小型のアダプターだけを学習するLoRAのような軽量手法です。データが数百件ならば特徴抽出、数千件以上ならばファインチューニングが概ね無難で、大規模言語モデルでは学習対象のパラメータを1%未満に減らす軽量手法が事実上の標準です。ここで検索拡張生成(RAG)とは役割が異なるという点を区別しなければなりません。ファインチューニングは口調・出力形式・判断基準を身につけさせる作業であり、頻繁に変わる事実情報を入れるのはRAGの役割です。
現場で最もよくずれるのは、「自社データでさらに学習させれば必ず賢くなる」という期待です。社内文書3,000件で全体のファインチューニングを行ったところ、もともとうまくできていた要約や翻訳まで崩れる破滅的忘却がよく起こります。また、不良画像200枚を繰り返し学習させて検証精度98%に達したのに、実際のラインでは60%台に落ちる過学習もよく見られます。事前学習データと自社データの性質の差が大きい場合(一般写真 → X線映像)、転移の効果はほとんどないか、むしろ妨げになります。手を加える前に元のモデルの性能を先に記録しておき、同じ検証セットで比較しなければならず、商用モデルはライセンスがファインチューニングと再配布を許可しているか、契約書からまず確認する必要があります。
機械学習の古くからある概念ですが、大規模な事前学習モデル(ImageNet、BERT、GPTなど)の登場とともに、実務における標準的な戦略になりました。
仮想の事例で見てみましょう。社員240名規模の産業用バルブ製造会社A社は、外観検査をすべて目視で行ってきました。1日1,200個を検査員4名がのぞき込んで確認するため、午後になると見落とす傷が増え、顧客からのクレームが月7件にまで上がりました。AI検査の導入を検討しましたが、それまでに蓄積した不良画像は320枚しかありませんでした。
- 外注先は「最低3万枚は撮影する必要があります」と回答しました。品質保証チームのキム・チーム長は、撮影だけで1年かかると判断し、ImageNetで事前学習された画像モデルを持ってきて、自社データだけを上乗せする方向に方針を転換しました。
- 生産技術チームのパク課長は既存の320枚を、傷・異物・正常の3つに分けて再ラベリングし、照明の角度を変えて780枚を追加撮影。学習用980枚、検証用120枚に分けました。
- 1回目の試行では、前段をすべて凍結し最後の分類層だけを学習させました。2週間で検証精度88%が出て、20年のキャリアを持つイ班長が「人が見ても判断が割れるものを、同じように間違えている」と認めました。
- 残った誤判定の大半がめっきの反射光によるものだと確認した後、上位3層だけを学習率1e-5で追加ファインチューニングしました。GPU 1基で4時間、クラウド費用は6万ウォン(約7,180円)でした。
- 6週目にラインへ接続した結果、不良検出率が71%から94%に上がり、目視による再検査の物量が1日1,200件から180件に減って、検査員2名が工程改善業務へ移りました。
金鍾赫(キム・ジョンヒョク)
パク・ヘラン