埋め込み・ベクトルDB
Embedding / Vector Database
埋め込みとは?
- 意味を数値ベクトルに変換(埋め込み)
- 似たものを素早く探すベクトルDB
- RAGの中核部品
埋め込みを導入して変わるのは検索結果の画面ではなく、運用担当者が行う仕事の種類です。従来のキーワード検索では、文書の中に「年次休暇」という文字が実際に書かれていないと引っかからなかったため、担当者は「休暇=年次休暇=有給休暇」のような同義語ルールを何年もかけて手作業で積み上げる必要がありました。今では、社員が尋ねるとおりの言葉をそのまま投げても検索できます。その代わり、なぜこの文書が1位に上がったのかを説明しにくくなるという代償があります。順位の根拠が人の作ったルールではなく、座標どうしの距離だからです。
数字で感覚をつかむと次のとおりです。埋め込みの次元数は通常768〜3,072次元で、文書は300〜800字単位に切り、文が途中で切れて意味が途切れるのを防ぐため、前後を10〜15%重ねておきます。現場ではベクトル検索だけを単独で使うことは少なく、キーワード検索(BM25)と併用して結果を統合する ハイブリッド検索 が標準に近い形です。製品コード・契約番号・条項番号のように文字が正確に一致しなければならない値では、ベクトルがむしろ弱いからです。さらに部署・年度などのメタデータフィルターをかけ、上位20件をリランカーで5件まで絞り込んでAIに渡す構成がよく見られます。
よくある誤解は「ベクトルDBを入れるだけで検索が賢くなる」というものです。ベクトルDBは質問と無関係でも一番近いものを必ず出す仕組みなので、類似度0.82のようなスコアは正解の保証ではありません。足切りを設けないと、関係のない断片が根拠として付き、もっともらしい誤答が出てきます。また埋め込みモデルを入れ替えると、既存のベクトルと座標系が変わるため全体を再索引しなければなりませんが、これを知らずにモデルだけ替えて検索品質が丸ごと崩れる事故がよくあります。改定・廃止された文書のベクトルを消さないことも同様です。昨年廃止した規程が今日の回答の根拠として引用され、権限フィルタをかけていないと、閲覧権限のない文書の断片まで回答に混ざって出てきます。
単語を意味を持つベクトルに変換する埋め込みは、2013年にGoogleが公開したword2vecで広く知られるようになりました。その後は文の埋め込み、ベクトルデータベースへと発展し、RAGの土台になりました。
仮想の事例でご説明します。産業用バルブを製造するA社は、役職員420名、年間売上高980億ウォン(約1,171,982万円)規模の会社です。技術営業チームが顧客からの問い合わせに答えるには、15年分の仕様書・施工事例のPDF 3,800件を探し回る必要があり、1件あたり平均40分かかっていました。製品コードを正確に知っていないと検索できない仕組みだったため、新入社員は最初から先輩に聞く方を選んでいました。
- 技術営業チームのキム次長が、6か月分の検索失敗ログ200件を抜き出したところ、「高温ラインに使うガスケットは何を使えばいいですか」のような話し言葉の質問が78%を占め、そのほとんどが結果0件でした。
- 情報システムチームのパク課長が、PDF 3,800件を600字単位で切り、100字ずつ重なるようにして約4万2千個の断片に埋め込み、ベクトルDBに登録しました。
- 最初のテストで2016年の販売終了カタログが上位に出ると、営業本部長が"これは販売もしていない製品ですが"と指摘したため、文書年度と製品群のメタデータフィルターを追加しました。
- 「V-40S」のような型番検索が後ろに回ってしまうため、キーワード検索も同時に回すハイブリッド方式に変え、上位20件をリランカーで5件まで絞り込んで回答の根拠として渡しました。
- 規定の改定分を週1回再インデックスする担当者を決めたところ、3か月目には問い合わせ1件あたりの資料探索時間が40分から 7分 に短縮され、先輩に聞き直す社内問い合わせは月60件から18件に減りました。
金鍾赫(キム・ジョンヒョク)
パク・ソリョン