資料標註 · 資料註解
Data Labeling
什麼是資料標註?
- 為學習用資料標上正確答案(標註)
- 監督式學習的燃料
- 標註偏誤 = AI 偏誤
一旦開始資料標註,AI 專案的重心就會從模型轉移到資料上。選擇使用哪種演算法只需一天,但要把什麼定為缺陷、哪些算是「正向諮詢」寫成明確的標準文件,卻得和業務端耗上好幾週才完成。標註不是技術作業,而是把業務判斷標準以文字確定下來的工作。若標準模糊就貼上數萬筆,只會堆積工作量,效能原地踏步。最後,能否撥出業務專家的時間,就成為專案時程的實際變數。
標註的形式決定了難度與單價的差距。在一張照片上只貼一個類別的分類,每張只需數秒;以方框框出物件的邊界框標註,需要數十秒;逐像素勾勒輪廓的語意分割,每張則要花好幾分鐘。文字方面則有標示人名、產品名的命名實體標註,近來也增加了從兩則回答中挑出較好一則的偏好標註。品質不靠感覺,而以數字衡量。以數百筆已確定答案的黃金標準資料集,讓所有標註者進行標註並計算一致性,是基本做法。若採用主動學習,優先挑出模型最困惑的資料來標註,有時只需一半以下的標籤就能達到同等效能。這與缺值處理、格式整理等前處理是各自獨立的流程。
現場最常出錯的地方,是'有人標了,所以就是正確答案'這種信念。若沒有邊界案例的指引,同一份資料每位作業員的判斷都不同,這些不一致會原封不動地成為模型的效能天花板。標註錯誤率 5%,準確率 95% 就等於實際上的天花板,但很多團隊不知道這點,只一味調整模型結構,耗上好幾個月。效能停滯時,比起模型,先打開標註來看通常更快。只比較單價、不附驗收條件就下單,交貨雖快,重工成本卻會超過原本的成本。混有個人資料的資料,在對外傳送前,應先確認是否已完成去識別化處理。
作為監督式學習的必要前置作業,隨著大規模資料集(如 ImageNet 等)的建置,已發展成一個獨立產業。
以下用假設案例說明。A 公司是員工 420 人的汽車零件製造商,已花了 8 個月研發一套用來檢出表面刮痕的檢測 AI。學習了 12 萬張影像,檢出率卻停在 78%,現場開始流傳'反正還是要人再看一次,何必用?'的說法。
- AI 開發團隊的這位負責人親自調閱 300 件誤判案例後發現,同樣程度的微小刮痕,有 41 件在某些片被標為不良、在另一些片卻被標為良品。
- 品質保證團隊 Park 課長召集 3 位檢驗班長,將'長度未滿 0.3mm 且肉眼無法辨識者為良品'這項邊界標準以文件確立下來,並將令人困惑的照片 20 張附為基準影像。
- 請 8 位外包標註員標註已確定答案的 500 張影像,測得一致性為 0.62;經過兩週再培訓後,只把一致性超過 0.87 的人員投入正式作業。
- 在既有 12 萬張影像中,重新標註標準不穩定的 2.8 萬張,並調整順序,讓模型沒有把握的照片優先標註,使每月作業量從 4 萬張降至 1.2 萬張。
- 重新訓練後,檢出率從 78% 提升至 93%,誤判率從 11% 降至 3% 上下,複檢所需的人力時間從每日 6 小時降到 1.5 小時,每月標註外包費用也節省約 40%。
金鍾赫
Ara Lim