知識 · AI基礎

説明可能AI · XAI

Explainable Artificial Intelligence

📂AI基礎⏱読了2分📊実務🔗関連6

説明可能AIとは?

一行定義
説明可能AI(Explainable Artificial Intelligence)とは、AIが'なぜそのような結論を出したのか'を人が理解できるように説明することです。信頼・責任・規制対応の要となります。
このテーマを社内研修で📚 関連研修💬 研修のお問い合わせ
⚡ 3行要約
  • AIが'なぜそう判断したのか'を説明
  • 信頼・責任・規制対応の要
  • ブラックボックスを開く

XAIを組み込むと、AIが出す結果の形が変わります。'スコア712点、謝絶'という一行だった画面に、'この判断に最も大きく作用した要因3つ'が一緒に表示されます。実務で実際に変わるのはモデルではなく決裁ラインと記録です。審査担当者は自分の判断とモデルの根拠を照合してから承認ボタンを押し、顧客対応の担当者は'システムがそう出たので'ではなく、具体的な理由を伝えます。説明がログとして残らなければ、事後監査も異議申し立ての処理もできません。

説明の方法は大きく二つに分かれます。意思決定木や線形モデルのように、構造そのものを読み取れる本質的に解釈可能なモデルが一つ。もう一つは、すでに学習済みのディープラーニングにSHAPやLIMEのようなツールを加えて根拠を推定する事後説明です。さらに「このモデルは全体として負債比率を最も重視する」という全体説明と、「この顧客が否決された理由はこれ」という個別説明では用途が違います。改正個人情報保護法の自動化された決定に対する説明・拒否の権利のように、個人が自分の案件について問える制度を前提にすると、必要なのは個別説明の方です。

すべてのモデルにXAIを付ける必要はありません。実務では判断が人に及ぼす影響の等級で分けます。在庫の需要予測のように、外れても取り返せるものは性能重視で進め、融資・採用・保険引受のように個人の機会を左右するものは説明可能な構造を選ぶか、局所説明を件ごとに保管します。そして説明そのものの品質も検証しなければなりません。現場の専門家の判断と、モデルが示した上位要因を照合してみると、思った以上に食い違う割合が高く出ます。

最もよくある誤解は、説明がそのまま本当の理由だと信じることです。事後の説明はモデルの内部をそのまま示したものではなく近似的な解釈なので、使うツールや基準データが変わると上位要因の順位も揺れます。同じ顧客に先月は'負債比率'、今月は'取引期間'と通知すれば、その場で紛争になります。因果関係のように読める文言も危険です。'負債比率が高いため否決'と書けば、顧客は'下げれば承認される'と受け取り、再び否決されると苦情に戻ってきます。説明は公正性の証明ではなく、点検の出発点です。

この用語が登場する研修 · AI・DX
おすすめ研修 · おすすめ講師 · 簡易見積もり
🧮 ミニ見積もり・講師料の基準
約120万ウォン(約14万円)特別講義 2時間 · 20名以下 · 韓国語
この条件で正式な見積もりを依頼 →
💡 かんたんに言うと
医師が診断の根拠を説明するように、AIも'なぜこの結論なのか'を示してこそ、信頼して使えます。
実務でなぜ重要なのか
根拠を説明できないAIは、重要な判断には使いにくいものです。信頼・責任・規制対応の前提になります。
由来と出典

ディープラーニングの'ブラックボックス'問題が浮き彫りになり、2010年代後半からXAI研究が活発になりました。AIの規制・責任をめぐる議論とともに、その重要性は高まっています。

事例で理解する

仮想の事例で見てみましょう。役職員240名規模のキャピタル会社A社は、2年前に個人信用ローンの審査モデルを導入し、月8,000件を自動で審査していました。承認は速くなりましたが、否決された顧客が理由を尋ねても「'総合信用評価の結果'」という答えしか出せず、四半期ごとに否決関連の苦情が120件ずつ積み上がっていました。監督当局の定期検査が控えていたため、4カ月の日程で説明体制を整えることにしました。

  1. リスク管理チームのキム部長が苦情120件を自ら読み、'顧客が怒ったのは断られたからではなく、理由を聞けなかったからだ'とまとめ、謝絶案件すべてに個別の説明を残すことにしました。
  2. データ分析チームがSHAPで1件あたり上位3つの影響要因を抽出し、審査役12名に300件をブラインドで提示したところ、審査役の判断と重なった割合は62%にとどまりました。
  3. ずれたケースを掘り下げたところ、通信料の延滞変数が特定の年代にだけ過度に作用していることが分かりました。モデルチームはこの変数を除いて再学習し、承認率の損失を0.4%pに抑えました。
  4. 法務チームのイ次長が、'負債比率が高いため否決'は「下げれば承認される」という約束として読めると指摘し、'今回の判断に最も大きく影響した'という文言に統一しました。
  5. コールセンターには要因別の応対スクリプト18種を配布し、審査担当者がモデルの説明と異なる判断をした案件は、月1回の検討会議に必ず上げるルールを作りました。
  6. 4カ月後、四半期の苦情は120件から41件に減り、否決理由の問い合わせへの平均対応時間は9分から3分台に短縮しました。検査でも説明記録の保管項目は指摘なしで通過しました。
関連用語
この用語に関連する研修
📚AXコンサルタント育成研修ナヌム経営コンサルティング 企業研修 · 対面・オンライン研修を見る →
このテーマで社内研修が必要でしょうか?
ご担当者さま向けの研修プログラム・お見積もりを、すぐにご覧いただけます。
研修のお問い合わせ
最終更新 2026-09-13 · 監修 金鍾赫

よくある質問

ディープラーニングは計算が複雑に絡み合っているため、'一言で言うと何が理由か'を述べにくいものです(ブラックボックス)。
融資・採用・医療のように、結果が人に重大な影響を与える高リスク分野で特に必要です。
ディープラーニングは無数の値が絡み合った'ブラックボックス'のため、判断の根拠を人の言葉で説明するのは困難です。
採用・融資・医療のように、判断が人に大きな影響を与え、規制のある分野では必須です。