嵌入・向量資料庫
Embedding / Vector Database
什麼是嵌入?
- 將語意轉換為數字向量(嵌入)
- 快速找出相似內容的向量資料庫
- RAG 的核心零件
加入嵌入後,改變的不是搜尋結果的畫面,而是營運負責人所做工作的種類。過去的關鍵字搜尋,文件裡必須真的有「年假」這兩個字才會命中,所以負責人得花好幾年手動累積「休假=年假=有薪休假」這類同義詞規則。現在員工照自己的問法直接輸入,就能搜到。代價是很難解釋這份文件為什麼排在第一名,因為排序的依據不是人寫的規則,而是座標之間的距離。
以數字來掌握的話是這樣:嵌入維度通常為 768~3,072 維,文件則以 300~800 字為單位切割,並讓前後重疊 10~15%,避免句子被切斷而讓語意中斷。實務上很少只單獨使用向量搜尋,多半採用混合搜尋,也就是與關鍵字搜尋(BM25)同時執行後再合併結果,已接近預設做法。原因在於產品代碼、合約編號、條文號碼等必須完全吻合的值,向量搜尋反而較弱。此外,常會再加上部門、年份等中繼資料過濾,並把前 20 筆結果以重新排序模型(reranker)篩到 5 筆後,才交給 AI,這是常見的架構。
最常見的誤解是「只要架好向量資料庫,搜尋就會變聰明」。向量資料庫的結構是即使與問題無關,也一定會回傳最接近的結果,因此相似度 0.82 之類的分數並不等於正確答案的保證。若不設定門檻,無關的片段就會被當成依據附上,產出看似合理卻錯誤的答案。此外,更換嵌入模型後,既有向量與座標系會改變,必須整批重新建立索引;不知情而只換模型,導致搜尋品質整體崩壞的事故屢見不鮮。未刪除已修訂或廢止文件的向量也是同樣的問題。去年已廢除的規定會被引用為今天答案的依據;若沒有設定權限過濾,連沒有閱覽權限的文件片段也會混入答案中。
把單字轉換成帶有意義的向量的嵌入技術,於 2013 年由 Google 公開的 word2vec 而普及,之後發展為句子嵌入與向量資料庫,成為 RAG 的基礎骨架。
以下用一個假設的案例來說明。A 公司是生產工業用閥門的企業,員工 420 人,年營收約 KRW 98,000,000,000 (≈ US$73,350,000)。技術業務團隊要回覆客戶詢問時,得翻找 15 年來的規格書與施工案例 PDF,共 3,800 份,每一件平均要花 40 分鐘。由於必須先知道正確的產品代碼才搜得到,新進員工乾脆選擇直接去問前輩。
- 技術業務部金副理分析了 6 個月內 200 筆搜尋失敗紀錄,發現「高溫產線要用什麼墊片?」這類口語提問佔了 78%,其中大多數都是0 筆結果。
- 資訊系統組的 Park 課長把 3,800 份 PDF 以 600 字為單位切割,並設定每段重疊 100 字,共產生約 4 萬 2 千個片段,完成嵌入後上傳至向量資料庫。
- 第一次測試時,2016 年停產的型錄排在前面,業務本部長指出「這個產品已經不賣了耶」,於是加上了文件年份與產品線的中繼資料過濾。
- 「V-40S」這類代碼搜尋一直被排到後面,於是改採同時執行關鍵字搜尋的混合式(Hybrid)方式,並以重排序器(reranker)將前 20 筆縮減為 5 筆,作為回答的依據交出。
- 指定一位負責人,每週一次重新建立規定修訂內容的索引後,三個月下來,每件詢問的資料搜尋時間從 40 分鐘縮短為 7 分鐘,向前輩追問的內部詢問也從每月 60 件降到 18 件。
金鍾赫
朴雪英