データラベリング · データアノテーション
Data Labeling
データラベリングとは?
- 学習用データに正解(ラベル)を付けること
- 教師あり学習の燃料
- ラベルの偏り=AIの偏り
データラベリングを始めると、AIプロジェクトの重心はモデルからデータへと移ります。どのアルゴリズムを使うかを選ぶのは1日で済みますが、何を欠陥とみなすか、どこまでを'肯定的な問い合わせ'とみなすかを書き留めた基準文書は、現場と何週間もかけて格闘しないと出てきません。ラベリングは技術作業ではなく、業務上の判断基準を文章で確定させる作業です。その基準があいまいなまま数万件を付けていくと、作業量だけが積み上がり性能は変わらないままになります。結局、現場専門家の時間をどれだけ確保できるかが、日程上の実際の変数になります。
ラベルの形式によって難易度と単価は大きく変わります。写真1枚にカテゴリーを1つ付ける分類は1枚あたり数秒ですが、物体を四角で囲むバウンディングボックスは数十秒、ピクセル単位で輪郭を取るセグメンテーションは1枚あたり数分かかります。テキストでは人名や製品名を示す固有表現ラベリングが使われ、最近は2つの回答のどちらが優れているかを選ぶ選好ラベルが増えています。品質は感覚ではなく数字で見ます。正解が確定したゴールドセット数百件を全作業者に回し、一致度を測ることが基本です。モデルが迷うデータから選んでラベリングする能動学習を使えば、同じ性能を半分以下のラベルで達成できることもあります。欠損値処理や形式整理などの前処理とは別の工程です。
現場で最も見落とされやすいのは、「人が付けたのだから正解だ」という思い込みです。境界事例の指針がなければ、同じ資料でも作業者ごとに判断が分かれ、その不一致がそのままモデル性能の上限として固定化します。ラベルの誤り率が5%であれば、正解率95%が事実上の天井になりますが、それに気づかずモデルの構造ばかり変えて数か月を費やすチームが少なくありません。性能が頭打ちになったら、モデルより先にラベルを見直すほうが早いことが多いです。単価だけを比べ、検収条件なしで発注すると、納品は早くても手直しの費用が原価を上回ります。個人情報が含まれたデータは、社外に持ち出す前に非識別化処理の有無をまず確認する必要があります。
教師あり学習に欠かせない前処理工程で、大規模データセット(ImageNet等)の構築とともに一つの産業として成長しました。
仮想の事例で見てみましょう。役職員420名規模の自動車部品メーカーA社は、表面の傷を検出する検査AIの開発に8か月間取り組んでいました。画像12万枚で学習させたものの検出率は78%で頭打ちとなり、現場では「どうせ人が最後にもう一度見るのに、なぜ使うのか」という声も出ていました。
- AI開発チームの責任者が誤検出300件を直接開いて確認したところ、同じレベルの微細なスクラッチを、ある画像では不良、別の画像では良品としてラベリングしていた事例が41件見つかりました。
- 品質保証チームのパク課長は検査班長3名を集め、'長さ0.3mm未満で肉眼では識別できないものは良品'という境界基準を文書で明確に定め、判断に迷った写真20枚を基準画像として添付しました。
- 外部委託のラベラー8名に、正解が確定した500枚を割り当てて一致度を測ったところ0.62でした。2週間の再教育後に0.87を超えた人員だけを本作業に投入しました。
- 既存の12万枚のうち基準がぶれていた2万8千枚を再ラベリングし、モデルが確信を持てなかった写真から先にラベリングする順序に変えたことで、月間の作業量を4万枚から1万2千枚へ減らしました。
- 再学習後、検出率は78%から93%に、誤検出率は11%から3%台に下がりました。再検査に割かれていた人員の時間は1日6時間から1.5時間に減り、月間のラベリング外注費も約40%削減されました。
金鍾赫
イム・アラ