グラウンディング・根拠化
Grounding
グラウンディングとは?
- 実際の根拠に基づいて答えるように
- ハルシネーション(幻覚)を減らす
- RAGの目的
グラウンディングを付けると、組織がAIに投げる質問そのものが変わります。「このモデルは賢いか」ではなく、「この回答はどの文書の何条を見て出たのか」を問うようになります。そのため、グラウンディングの本当の効果は正答率よりも、誤った答えを見つける速さに先に表れます。根拠が表示されれば、担当者が回答1つを検証するのに数分ではなく数十秒しかかからず、誤りがあった時に直すべき対象がモデルではなくその文書と特定されます。
グラウンディングは単一の技術ではなく、いくつかの方式のまとまりです。文書を検索して添付するRAG、質問時にファイルを直接添付する方式、在庫・未収金のように随時変わる値を社内システムのAPIで照会して持ってくる方式が併用されます。よく混同されるファインチューニングは性質が異なります。ファインチューニングは口調と形式を仕込み、グラウンディングは出典を作ります。数字や規程のように頻繁に変わる領域は、学習させず照会で解決すべきです。
実際の成否はモデルではなく、根拠資料の状態で分かれます。同じ規程の改定版と廃止版が一つのフォルダに混在していると、検索は両方を持ってきます。文書ごとに施行日と版を付け、回答には文書名・条項・施行日を併せて出力させ、根拠が見つからない場合は推測せず「確認されません」で終える拒否ルールを設けなければなりません。導入工数の半分以上はモデル設定ではなく、文書の倉庫を整理する作業に入ります。
最もよくある誤解は「RAGを付けたから幻覚は終わった」というものです。検索が見当違いの文書を持ってくると、AIはその見当違いの文書に忠実に、出典まで付けて誤った答えを出します。出典が付いていると、社員はむしろより信じてしまいます。3年前に廃止された出張費規程がインデックスに残っていれば、そのまま引用されますし、権限の分離なしに人事フォルダを丸ごと入れると、年俸テーブルが全社員のチャットボットから照会できてしまいます。根拠を結びつけた瞬間、その根拠を管理する責任も一緒に生まれます。
AIの出力を外部の事実・根拠に結びつけるという概念で、RAGの広がりとともに幻覚を減らす核心原理として強調されています。
仮想の事例で見てみましょう。役職員1,200名規模の自動車部品メーカーA社は、総務・人事への問い合わせが月900件を超えて殺到したため、社内チャットボットを開設しました。しかし、オープンから3か月で「チャットボットの言葉を信じて処理したら差し戻された」という苦情が積み重なりました。情報戦略チームが3週間にわたり誤答報告32件を集め、原因を詳しく調べました。
- 情報戦略チームのキム次長が誤答32件を分類したところ、24件が2021年に廃止された旧出張費規程を根拠に答えていたことが分かりました。共有ドライブに改定版と廃止版が並んで残っていたことが原因でした。
- 人事チームの朴課長と2日間かけて規程文書726件を確認し、現行版214件だけを残して、ファイルごとに「施行日・版・所管部署」のタグを付けました。残りは検索対象から最初から外しました。
- 回答ルールも変えました。根拠の段落が見つからない場合は推測せず、「現行規程で確認されません。人事チーム内線3120にお問い合わせください」とだけ答えるよう、拒否文言を固定しました。
- すべての回答の下部に文書名・条項・施行日を表示させ、チーム長がオープン告知に「出典が付いていない回答は誤答とみなして報告してください」と一行添えて周知しました。
- 年俸テーブルと人事評価文書は別のインデックスに分けて、チーム長級以上のアカウントだけに開放しました。権限の確認はチャットボットではなく、社内認証システムが行うようにつなぎました。
- 8週間後、誤答の報告は月32件から5件に減り、人事チームの単純な問い合わせは月900件から510件に下がりました。回答の出典表示率は97%を記録しました。
金鍾赫
キム・ソンイル