RAG・検索拡張生成
Retrieval-Augmented Generation
RAGとは?
- 答える前に外部の知識をまず検索
- 根拠をもとに回答を生成
- 幻覚を減らし、最新・社内の知識を反映
RAGを導入した瞬間、AIの回答の責任の所在が変わります。以前は'モデルが知らない'が結論でしたが、今では'その文書が倉庫になかった'または'古いバージョンが検索された'が原因になります。品質を左右する軸が、モデルの性能から社内文書管理の能力へ移ってきたわけです。だから導入プロジェクトの半分以上は、開発ではなく散らばった規定やマニュアルを集めてバージョンを整理する作業に使われます。
ファインチューニング・ロングコンテキストとは使い道が分かれます。ファインチューニングは口調や出力形式を変えるのに強く、文書をまるごと貼り付けるロングコンテキスト方式は数十ページの一回限りの分析に向いています。一方、数千〜数万件から根拠の断片を数点だけ選び出す必要があるなら、RAG以外に代わりはありません。細かい設定も結果を左右します。文書は通常300〜800トークン単位で区切り、前後を10〜20%重ねておき、一つの質問ごとに取り出す断片は3〜5個が基本です。意味検索だけでは「稟議書3-2号」のような固有番号を取りこぼすため、キーワード検索も併用するハイブリッド構成に、再順位付け(reranker)の段階を加える例が多くなっています。
運用に入ったら、点検指標を別途用意する必要があります。現場が実際に聞きそうな質問30〜50個で評価用データセットを作り、必要な文書が検索結果に入ったか(検索の適中率)と、回答がその根拠と一致しているかを分けて見ます。この二つの指標を分けておくと、手を入れるべき箇所が見えてきます。検索が失敗していれば文書の分割方法や見出しの整理を直すべきで、検索は合っていたのに回答が混乱しているなら、プロンプトとモデル側の問題です。答えられなかった質問のログを週単位で見直すことが、実質的に保守のすべてです。
最も多い誤解は'文書さえ全部上げれば、AIが自動で答えてくれる'という考えです。2019年版と2024年版の就業規則が並んで入っていると、AIは廃止された条項を出典付きで提示し、社員は根拠が見えるのでそのまま信じて動いてしまいます。権限設計を省くと事故はさらに大きくなります。人事評価の資料や年俸表が同じ保管場所に上がった瞬間、検索一回で全社員が閲覧できるようになります。少なくとも根拠が見つからなければ'資料にありません'と答えるよう制限しておき、文書ごとに施行日と閲覧権限をタグで付けて、検索段階でふるい落とす必要があります。
2020年、パトリック・ルイス(Patrick Lewis)らのFacebook AI研究所(現Meta AI)チームが論文で初めて提示しました。検索器と生成モデルを組み合わせるという発想が核心です。
仮想の事例で見てみましょう。役職員520名規模の自動車部品メーカーA社では、人事チーム3名が月700件を超える社内問い合わせを受けていました。年次有給休暇・慶弔費・出張費に関する質問が全体の60%を占め、担当者が規程集のPDFを探して確認するだけで1日2〜3時間かかっていました。2024年上半期、規程案内チャットボットをRAGで作ることにしました。
- 人事チーム長が最初に行ったのは開発ではなく文書整理でした。共有ドライブに散らばった規定ファイル180余件を洗い出し、最新版42件だけを残して、残りは廃棄フォルダへ移しました。
- 情報システムチームの主任が42件を条項単位で区切ってベクターDBに入れる際、施行日と閲覧等級をタグで付け、年俸表など7件は人事チームのアカウントでしか検索されないよう分けました。
- 1次テストで'年次有給休暇はいつから使えますか'という質問に、廃止された2019年の条項が出てきました。人事チーム长は'出典が付くと社員はそのまま信じてしまう'として、期限切れの文書を除外するよう求めました。
- 現場がよく尋ねる40の質問で評価セットを作り、毎週実行しました。条項の見出しを本文の前に付け、キーワード検索を混ぜたところ、検索の的中率が3週間で61%から89%に上がりました。
- 3か月後、人事チームへの単純な問い合わせは月700件から240件に減り、平均4時間かかっていた回答がその場で得られるようになりました。根拠がない場合は'規程では確認されません'と答えるようにしたため、誤答の報告は月3件以下です。
- 最新の社内文書を根拠に答えるべきとき
- データが頻繁に変わるとき
- 幻覚を減らしたいとき
- 言い回しや形式そのものを変える必要があるとき(ファインチューニング)
- 参照する文書がない純粋な創作
- リアルタイム性が極めて重要な超低遅延
金鍾赫
イム・アラ