ハルシネーション・幻覚
Hallucination
ハルシネーションとは?
- 事実でないことをもっともらしく作り上げること
- 生成AIの核心的リスク
- 根拠づけと検証で管理
幻覚を正しく理解すると、AI導入の設計そのものが変わります。「AIに何ができるか」よりも、間違えたとき誰がどこで見つけて止めるかが業務フローを組む基準になります。草案作成が5倍速くなっても、確認にその分の時間がかかれば何も残らないため、実務では検証時間まで含めた総所要時間で効果を算出します。ですから、AIを導入する最初の業務を選ぶ際も、正解が一つに決まっていて間違えればすぐ分かる仕事から始めるのが安全です。
幻覚は一つの塊ではなく、タイプに分かれます。存在しない論文・判例・統計を作り出す事実の捏造、内容は合っているのに出典リンクやページ番号だけを作り上げる出典の捏造、根拠文書を渡されたのに、その文書にない文章をそっと紛れ込ませる歪曲型があります。RAGで減るのは主に前の二つで、三つ目はそのまま残ります。学習時点より後のことを知らない知識のカットオフやデータの偏りは、幻覚とは原因が異なり対処法も異なるという点を区別しなければなりません。回答が長いほど、専門性が狭い分野ほど、数字・固有名詞・日付が混ざるほど、発生頻度は高まります。
現場で最も多い誤解は「出典を尋ねれば安全だ」というものです。出典を作り上げるモデルに出典を尋ねるのは検証ではなく、リンクが実際に開くか、その文書に本当にその文章があるかまで確認して初めて検証になります。最新モデルに替えれば解決するという期待も危険です。頻度は減りますが、表現がより滑らかになり、かえって目につきにくくなります。事故はむしろRAGを導入した後に起きます。「もう根拠に基づいているから大丈夫だ」と確認を緩めてしまうと、お客様向け案内文に載っていない返金条件が出てしまい、契約書の検討要約に存在しない条項が入り込み、責任がそのまま会社に回ってきます。
生成AIが広く普及するにつれ、「もっともらしいが間違った答え」が実務上のリスクとして浮上し、広く使われるようになった用語です。言語モデルが正解を保存しているのではなく、確率的に文章を生成する構造に由来します。
仮想の事例で見てみましょう。役職員180名、年商900億ウォン(約1,076,310万円)台の産業用資材流通会社A社は、顧客問い合わせへの回答草案を生成AIで作り始めました。導入から二か月目、ある取引先が「受け取ったメールに書かれた返品条件どおりに処理してほしい」とクレームを入れてきましたが、A社にはそのような規定が最初からありませんでした。
- 営業支援チームのキム課長が送信済みメールを見返したところ、「開封後14日以内の返品可能」という一文が3件に入っており、誰もその条件を書いた記憶がありませんでした。
- 品質保証チーム長が8月1か月分のAI草案回答120件を規程集と一件ずつ照合したところ、社内に根拠のない文章が19件 (15.8%) 混ざっていました。
- 情報システム担当のパク次長が、規程集・単価表・契約標準案のPDF42種を検索用リポジトリに登録し、「与えられた文書になければ担当者への確認が必要とだけ答えよ」という指示文を固定しました。
- 営業理事が「金額・期限・法的条件が入った文章は、人が二度確認する」という原則を立て、該当する回答はチーム長の承認前に送信ボタンが押せないようメールテンプレートを変更しました。
- 3か月後に同じ方法で120件を再点検したところ、根拠のない文章は2件 (1.7%) に減り、回答作成時間は1件あたり25分から9分に短縮されました。
金鍾赫(キム・ジョンヒョク)
パク・ソリョン