説明可能AI · XAI
Explainable Artificial Intelligence
説明可能AIとは?
- AIが'なぜそう判断したのか'を説明
- 信頼・責任・規制対応の要
- ブラックボックスを開く
XAIを組み込むと、AIが出す結果の形が変わります。'スコア712点、謝絶'という一行だった画面に、'この判断に最も大きく作用した要因3つ'が一緒に表示されます。実務で実際に変わるのはモデルではなく決裁ラインと記録です。審査担当者は自分の判断とモデルの根拠を照合してから承認ボタンを押し、顧客対応の担当者は'システムがそう出たので'ではなく、具体的な理由を伝えます。説明がログとして残らなければ、事後監査も異議申し立ての処理もできません。
説明の方法は大きく二つに分かれます。意思決定木や線形モデルのように、構造そのものを読み取れる本質的に解釈可能なモデルが一つ。もう一つは、すでに学習済みのディープラーニングにSHAPやLIMEのようなツールを加えて根拠を推定する事後説明です。さらに「このモデルは全体として負債比率を最も重視する」という全体説明と、「この顧客が否決された理由はこれ」という個別説明では用途が違います。改正個人情報保護法の自動化された決定に対する説明・拒否の権利のように、個人が自分の案件について問える制度を前提にすると、必要なのは個別説明の方です。
すべてのモデルにXAIを付ける必要はありません。実務では判断が人に及ぼす影響の等級で分けます。在庫の需要予測のように、外れても取り返せるものは性能重視で進め、融資・採用・保険引受のように個人の機会を左右するものは説明可能な構造を選ぶか、局所説明を件ごとに保管します。そして説明そのものの品質も検証しなければなりません。現場の専門家の判断と、モデルが示した上位要因を照合してみると、思った以上に食い違う割合が高く出ます。
最もよくある誤解は、説明がそのまま本当の理由だと信じることです。事後の説明はモデルの内部をそのまま示したものではなく近似的な解釈なので、使うツールや基準データが変わると上位要因の順位も揺れます。同じ顧客に先月は'負債比率'、今月は'取引期間'と通知すれば、その場で紛争になります。因果関係のように読める文言も危険です。'負債比率が高いため否決'と書けば、顧客は'下げれば承認される'と受け取り、再び否決されると苦情に戻ってきます。説明は公正性の証明ではなく、点検の出発点です。
ディープラーニングの'ブラックボックス'問題が浮き彫りになり、2010年代後半からXAI研究が活発になりました。AIの規制・責任をめぐる議論とともに、その重要性は高まっています。
仮想の事例で見てみましょう。役職員240名規模のキャピタル会社A社は、2年前に個人信用ローンの審査モデルを導入し、月8,000件を自動で審査していました。承認は速くなりましたが、否決された顧客が理由を尋ねても「'総合信用評価の結果'」という答えしか出せず、四半期ごとに否決関連の苦情が120件ずつ積み上がっていました。監督当局の定期検査が控えていたため、4カ月の日程で説明体制を整えることにしました。
- リスク管理チームのキム部長が苦情120件を自ら読み、'顧客が怒ったのは断られたからではなく、理由を聞けなかったからだ'とまとめ、謝絶案件すべてに個別の説明を残すことにしました。
- データ分析チームがSHAPで1件あたり上位3つの影響要因を抽出し、審査役12名に300件をブラインドで提示したところ、審査役の判断と重なった割合は62%にとどまりました。
- ずれたケースを掘り下げたところ、通信料の延滞変数が特定の年代にだけ過度に作用していることが分かりました。モデルチームはこの変数を除いて再学習し、承認率の損失を0.4%pに抑えました。
- 法務チームのイ次長が、'負債比率が高いため否決'は「下げれば承認される」という約束として読めると指摘し、'今回の判断に最も大きく影響した'という文言に統一しました。
- コールセンターには要因別の応対スクリプト18種を配布し、審査担当者がモデルの説明と異なる判断をした案件は、月1回の検討会議に必ず上げるルールを作りました。
- 4カ月後、四半期の苦情は120件から41件に減り、否決理由の問い合わせへの平均対応時間は9分から3分台に短縮しました。検査でも説明記録の保管項目は指摘なしで通過しました。
金鍾赫
ノ・ジュニョン