セマンティック検索
Semantic Search
セマンティック検索とは?
- 文字ではなく「意味」で検索
- 表現が違っても意味で見つける
- 埋め込み・ベクトルDBベース
検索に失敗したとき、誰の責任になるかが変わります。キーワード検索の時代は「検索語を間違えて入れた社員」の問題でした。社内ポータルに「半休」と入れて0件が出ると、社員は「休暇」「年休の使用」「勤怠規定」を順に入れてみて、結局人事チームに電話をかけます。セマンティック検索が入ると、質問をうまく投げかけられなかった責任がシステム側に移ります。担当者が管理する対象も「同義語辞書をいくつ登録したか」から、文書をどう分割し、どのモデルでベクトル化したかへ移っていきます。
仕組み自体はシンプルです。文書を300〜800トークン単位で区切り、埋め込みモデルが各断片を384〜3,072次元の数値配列に変換して保存します。質問も同じ方法でベクトル化した後、コサイン類似度の高い上位5〜10件を取り出します。ただしどんな検索にも優れた方式というわけではありません。「KX-2200B」のような品番や、「労働基準法 第60条」、契約書番号のように文字そのものが情報である検索では、依然としてBM25系のキーワード方式がはるかに正確です。そのため現場の構成では、二つの結果を合わせたハイブリッド検索にリランカーで順位を付け直す段階を加えるのが標準になりました。
最もよくある失敗は、「なければ『ない』と答えるだろう」という期待です。ベクトル検索は答えがなくても、必ず最も近いものを返します。類似度0.55の的外れな文書5件がそのままRAGのプロンプトに入ると、出典は社内文書だが内容は誤った回答が生成されてしまいます。類似度に下限を設け、その下なら「資料なし」として打ち切る必要があります。また「改定前の出張費規定」と「改定後の規定」は意味がほぼ同じなので、ベクトルでは区別がつかず、「出張費は支給しません」のような否定文も「出張費の支給」という質問に高いスコアで引き寄せられます。改定日・部署・有効性はメタデータフィルターで絞り込む必要があり、廃止文書を索引から外す運用も必ず伴わなければなりません。
単語・文の埋め込み(word2vec、2013年以降)技術の発展により実用化され、大規模言語モデルやRAGの普及とともに標準的な検索方式として定着しました。
仮想の事例で見てみましょう。役職員620名規模の産業用バルブ製造会社A社は、社内ポータルに規定や技術資料1万2千件を掲載していましたが、人事チームと技術営業チームには「それ、どこにありますか」という電話が1日40件以上かかってきていました。検索ログを開くと、結果0件の割合は34%でした。3か月のプロジェクトとして、セマンティック検索への切り替えに着手しました。
- 情報システムチームのキム課長が、0件検索語500件を抽出したところ、「半休」「慶弔金」「出張の食事代」のように規定文書に存在しない口語表現が62%を占めていました。「社員が法令用語を知っているわけがない」というのが会議の結論でした。
- 規定と設備マニュアルを条項単位、約600トークンずつに分割して3万4千個の断片を作り、韓国語の埋め込みモデルでベクトル化しました。断片ごとに部署・改定日・有効性をメタデータとして付与しました。
- 1次テストで「出張費の上限」を尋ねたところ、2021年に廃止された旧規定が1位に表示されました。有効可否=Yのフィルターを検索の前段で必ず適用し、廃止文書1,800件はインデックスから丸ごと除外しました。
- 「品番検索は以前の方が良かった」という技術営業チームからの苦情を受け、キーワード(BM25)の結果とベクトルの結果を統合し、リランカーで並べ直しました。「KX-2200B」の検索精度は以前の水準に回復しました。
- 8週間後、0件の割合は34%から6%に、問い合わせの電話は1日40件から13件に減りました。類似度0.6未満では「資料なし」と答えるよう制限した後、誤回答の報告は週9件から1件になりました。
金鍾赫(キム・ジョンヒョク)
パク・ソリョン