卷積神經網路 · CNN
Convolutional Neural Network
什麼是卷積神經網路?
- 逐層擷取影像的局部特徵
- 由線條→形狀→物體逐層堆疊辨識
- 電腦視覺的主角
CNN 改變的是'特徵由誰來製作'。以前是工程師用手工設計計算邊緣方向或亮度變化的公式,產品一換就得從頭重寫那些公式。CNN 則把相當於那些公式的濾波器數值本身,變成學習的對象。因此現場一變,改的不是程式碼,而是更換資料,工作的性質隨之轉移,開發的瓶頸不再是演算法,而是取得附有標籤的影像。實務上,這個差異表現為'演算法開發 6 個月'與'資料蒐集 6 週'的落差。
結構通常分為卷積層、池化層,以及負責判定的全連接層。3×3 大小的濾波器會掃過整張影像,因此需要學習的數值比同等規模的全連接神經網路少了數百分之一,而且不論目標在照片左側或右側,同一個濾波器都會產生反應。實務上很少從頭開始訓練。通常的做法是拿 ImageNet 120 萬張預先訓練好的模型,只重新訓練後段,也就是遷移學習。若公司內部影像只有數千張,大多用這種方式就足夠。近來的視覺Transformer(ViT)在大型資料集上表現較好,但在數千張規模的內部資料上,CNN 仍然最穩定。
最常見的錯誤是只看驗證準確率就直接上線。在不良率 1% 的製程中,即使全部判為良品,準確率也有 99%,因此真正該看的數字是過濾漏檢的召回率。另外,CNN 對位置變化有一定的耐受性,但對旋轉、放大、光線色溫的變化並不會自動變強,因此常發生換成夜間照明後檢出率急遽下降的情況。同一產品的連續影格若被分進訓練集與驗證集,就會產生遠高於實際的資料洩漏分數,直到上線後才顯露真正的效能。很多人誤以為無法得知判斷依據,但可以用 Grad-CAM 等工具,以熱力圖確認模型是依據哪個部位判定為不良品。
1989 年 Yann LeCun 的研究奠定了基礎,2012 年 AlexNet 贏得競賽,開啟了深度學習時代。
以虛構案例來看看。汽車射出成型零件的 A 公司員工 240 人、年營收 KRW 78,000,000,000 (≈ US$58,380,600),外觀檢驗一直由 6 名檢驗員以肉眼進行。每天要用眼睛篩選 3 萬個零件,因刮痕流出導致客戶抱怨每年發生 4 件,光是每一件的全數挑揀成本就高達 KRW 20,000,000 (≈ US$15,000)。品管團隊將導入 CNN 外觀檢驗列為為期 3 個月的專案。
- 品質組的李部長翻遍了三年份的檢驗紀錄,但附有標籤的實際不良影像只有 1,200 張。良品照片則有 28 萬張。
- 生產技術組的金課長表示,比起學習,拍攝夾具要先做好。"光源角度每天都不一樣,學習什麼?"他因此花了兩週固定照度與距離。
- 某外部廠商以預先訓練的 ResNet-50,透過旋轉與亮度增強,將 1,200 張不良品影像擴增到 9,600 張後進行微調,三週內驗證準確率就達到 97%。
- 在報告會上,董事長問"漏掉的不良品有幾個?",結果發現有 18 筆漏檢。決定以召回率為基準降低判定門檻,接受較多的過度檢出。
- 6 個月後,外流客訴從每年 4 件降為 0 件,檢驗員 6 人中有 4 人被調派到複檢與包裝製程。取而代之的是,過度判定的 3.2% 由人工進行二次確認。
Ara Lim
Seung-tae Park