生成對抗網路 · GAN
Generative Adversarial Network
什麼是生成對抗網路?
- 以生成器 vs 判別器的競爭來學習
- 生成逼真的資料
- 深偽與影像生成的始祖
GAN 在實務上改變的,是對待資料的順序。過去要讓模型學習,必須先收集足夠的、由人工標註正解的資料;GAN 則只靠判別器判斷對或錯這一個訊號,就能培養生成器。即使沒有正解表,學習也能運作,因此像稀有不良影像這種原本就難以收集的資料,也能直接生成來使用。與其去找資料來補齊,不如生成出來補齊,這種做法正是由此而來。
依分支來看,用途就清楚了。DCGAN 是加入卷積以提升影像品質的基本型;CycleGAN 不需要成對的正解樣本,就能把照片轉換成繪畫風格,是用於轉換的版本;StyleGAN 能生成 1024×1024 解析度的臉孔,是「不存在的人物」服務的基礎系列。條件式 GAN(cGAN)則可指定想要的類型,例如「刮痕不良」來產生。擴散模型與它的分岔點在於速度與穩定性。擴散模型要去除數十次雜訊才能得到品質,因此較慢;GAN 一次前向運算就能出結果,適合即時處理,但弱點是訓練容易往一邊崩潰。
現場最常出錯的環節,是「只要跑 GAN,資料就會無限產生」這種期待。生成器只要找到幾種容易騙過判別器的模式,就會停在那裡,這就是模式崩潰(mode collapse)。即使產出 1 萬張,實際上也只有三四種類型的變化,用這些資料訓練的檢測模型,遇到從未見過的不良品仍會照樣漏掉。若原本 300 張影像就帶有特定光線或角度的偏差,那個偏差也會被一併複製。驗證集絕對不能用合成資料來填充——用假資料考試,分數只會上升,產線表現卻原地踏步。合成人臉或聲音時,肖像權與深偽相關的法律責任,必須比技術審查更早確認。
2014 年由 Ian Goodfellow 等人提出,其結構是生成器與判別器像零和遊戲一樣相互競爭。
舉個假設的例子。員工 420 人規模的汽車零件製造商 A 公司,已經為外觀檢測 AI 卡關六個月了。正常影像累積了 12 萬張,但全產線加總的實際不良品影像只有 287 張。檢測模型的不良檢出率停在 76%,再也上不去。
- 品質保證組 Park 次長問:「要收集更多不良品,難道得刻意製造不良嗎?」於是 AI 合作夥伴提議,用 GAN 合成刮痕與異物等不良影像。
- 加入條件式 GAN,將不良類型指定為刮傷、異物、壓痕、印刷暈染四種,用 287 張影像進行學習,花了 3 週時間,每種類型各生成 3,000 張,總計生成 1 萬 2 千張。
- 第一版成果經檢驗班長看過後,他判定「這種瑕疵我們產線不會出現」,過濾掉 40%,並把以現場人員的眼睛篩除合成影像的檢視,正式納入作業流程。
- 懷疑出現模式崩潰,將生成影像依類型分類後發現,異物不良佔了整體的 68%,因此調整了損失函式的權重,並重新訓練了 2 週。
- 驗證時沒有混入任何合成影像,只用從實際不良品 287 張中預留的 87 張來進行。不用假資料來考試,是 Park 次長定下的原則。
- 三個月後,不良檢出率從 76% 提升到 93%,過檢率從 11% 降到 4%,原本負責複檢的人力也從每天 3 人減為 1 人。
Ara Lim
Seung-tae Park