AIバイアス
AI Bias
AIバイアスとは?
- データや設計の偏りによる不公正な結果
- データが偏ればAIも偏る
- 差別を自動化するリスク
AIバイアスを理解すると、モデルを導入する際に投げかける質問が変わります。「正解率は何パーセントですか」ではなく、「誰に対して間違えますか」を先に問うようになります。全体の正解率は多数派集団の成績表だからです。応募者の10%が特定の集団であれば、その集団を全部間違えても全体の正解率は90%と表示されます。そのため検収の要点は、性能指標を集団別に分けて見ることへと移っていきます。
偏りは一つの塊ではなく、入ってくる経路が異なります。過去の差別的な決定が正解ラベルとして固定された歴史的な偏り、特定集団のサンプルが初めから少ない標本抽出の偏り、評価者の主観がラベルに染み込んだラベリングの偏り、そして、モデルが推奨した結果が再び学習データとして戻ってくるフィードバックループの偏りが代表的です。さらに難しいのは、公平性の定義が一つではないことです。集団ごとの合格率を揃える基準と、集団ごとの誤判定率を揃える基準は、数学的に同時に満たされないことが多く、どの公平性を選ぶかは結局、経営判断です。
偏りは幻覚(hallucination)とは区別して考える必要があります。幻覚は存在しない事実を作り出すランダムな誤りですが、偏りは方向が一定で再現されます。同じ条件を100回入力すれば、100回とも同じ方向に傾きます。そのため再現される誤りは、プロンプトではなくデータと目的関数を見てこそ解消できます。逆に、統計的な差がすべて不当な差別とは限らないため、その差が業務関連性で説明できるかどうかを個別に検討する必要があります。
現場で最も多い誤解は「性別・年齢の列を外したので公正だ」というものです。センシティブな変数を消しても、居住地・出身校・経歴の空白・兵役の有無などのプロキシ変数がその情報をそのまま復元します。むしろ変数を消したせいで偏りを測定することすらできなくなるという逆効果が生じます。もう一つは、ベンダーの「バイアス検証済み」という文言をそのまま信じることです。その検証がどの国で、どの集団構成で行われたのかを確認しないと、自社の応募者分布では全く違う結果になります。検証なしに自動承認のラインへ組み込んだ瞬間、差別が1秒あたり数十件の速さで複製されます。
機械学習のデータ依存性に起因する問題で、実際の差別事例が次々と明らかになったことから、AI倫理の中核的な課題として浮上しました。
仮想の事例で見てみましょう。役職員1,400名、年間売上高3,200億ウォン(約3,826,881万円)規模の流通会社A社は、年間1万2,000件に上る入社応募書類を処理するために、書類選考のAIスクリーニングを導入しました。6か月後、人事チームの定期レポートで、女性応募者の書類通過率が導入前の31%から18%に下がったことが確認されました。"モデルの精度は89%と出ているのに、なぜこんな数字になるのか"という問いから議論が始まりました。
- 人事企画チームのキム課長が学習に使った直近5年分の合格者データを開いてみたところ、物流・MD職群の合格者の82%が男性でした。AIは、その比率そのものを優秀な人材の特徴として学習していたのです。
- 開発会社は"性別の項目は入力値に一切ありません"と答えましたが、データ分析担当のイ責任が変数寄与度を抽出すると、経歴の空白6か月以上と特定の女子大出身が減点要因として作動していました。
- CHROが「正確度ではなく集団別に分けて、もう一度報告してください」と指示し、性別・年齢層別の偽陽性率を別々に計算すると、集団間の格差が14%pであることが明らかになりました。
- 人事チームは経歴の空白と出身校の変数を学習から除外し、直近2年の応募者のうち女性サンプル4,000件を追加で確保して再学習を実行しました。
- 同時に、AIのスコアは参考指標としてのみ使い、下位30%の区間は必ず採用担当者が再確認するルールを設け、四半期レポートに集団別の通過率格差の項目を固定で入れました。
- 3か月後、女性の書類選考通過率は29%に回復し、集団間の格差は14%ポイントから3%ポイントに縮小しました。さらに、入社者の1年後定着率はむしろ4%ポイント上昇しました。
金鍾赫
キム・ソンイル