RAG · 檢索增強生成
Retrieval-Augmented Generation
什麼是 RAG?
- 先搜尋外部知識再作答
- 在依據之上生成答案
- 減少幻覺,納入最新與企業內部知識
導入 RAG 後,AI 回答的責任歸屬就會改變。過去的結論是「模型不知道」,現在則變成「那份文件不在資料庫裡」或「搜到的是舊版本」才是原因。決定品質的關鍵,從模型效能轉移到企業內部文件管理能力。因此導入專案有一半以上的工作,不是開發,而是彙整分散的規章與手冊並整理版本。
與微調、長上下文的用途不同。微調擅長改變語氣與輸出格式,長上下文則是整份文件一次貼入,適合數十頁的一次性分析。反之,若要從數千到數萬筆資料中挑出少量依據,除了 RAG 別無替代方案。細部設定也會影響結果。文件通常切成 300 至 800 個Token 的區段,前後重疊 10% 至 20%,每次提問預設取回 3 至 5 段。語意搜尋會漏掉「簽呈 3-2 號」之類的專屬編號,因此許多做法會採用同時執行關鍵字搜尋的混合式架構,並再加上重新排序(reranker)步驟。
正式上線後,需要另外設定監控指標。以現場人員實際可能會問的 30~50 個問題建立評估集,分別檢視:所需文件是否進入檢索結果(檢索命中率),以及答案是否與其依據一致。必須將兩項指標分開看,才能看出該改哪裡。若檢索失敗,應調整文件的切分方式或標題整理;若檢索正確但答案出錯,問題則在提示詞與模型。每週檢視無法回答的問題紀錄,實際上就是維運的全部工作。
最常見的誤解是「只要把文件全部上傳,AI 就會自己回答」。2019 年版與 2024 年版的工作規則並存時,AI 會連同出處一併列出已廢止的條文,員工看到出處便信以為真、直接照做。若省略權限設計,事故只會更大。人事考核資料或薪資表只要放進同一個儲存庫,一次搜尋就能讓全體員工調閱。至少要設定找不到依據時回覆「資料中沒有此內容」,並為每份文件加上生效日期與閱覽權限標籤,在搜尋階段就先過濾掉。
2020 年,Patrick Lewis 與 Facebook AI 研究院(現為 Meta AI)團隊在論文中首次提出。其核心在於結合「檢索器」與「生成模型」的構想。
以下以假設案例說明。員工約 520 人的汽車零件製造商 A 公司,人資團隊 3 人每月要處理超過 700 件內部詢問。其中特休、慶弔補助金、出差費的問題佔全部的 60%,承辦人光是翻閱規章 PDF 逐一確認,每天就得花上兩到三個小時。2024 年上半年,A 公司決定以 RAG 打造規章諮詢聊天機器人。
- 人資組長最先做的事,是整理文件,而非開發。他把共用雲端硬碟中散落的約 180 份規章檔案收攏,只保留 42 份最新版本,其餘移至廢棄資料夾。
- 資訊系統團隊副理將 42 件文件依條文單位切開後存入向量資料庫,並以標籤標示生效日期與閱覽等級;薪資表等 7 件則分開設定,只有人事團隊帳號才能搜尋。
- 第一次測試時,問「特休何時可以開始使用?」,結果出現了已廢止的 2019 年條文。人事主管表示「附上出處後員工就會直接相信」,因此要求排除過期文件。
- 以第一線業務人員常問的 40 個問題建立評估集,每週測試一次。把條文標題加到內文前面並混用關鍵字搜尋後,搜尋命中率在 3 週內從 61% 提升到 89%。
- 三個月後,人事團隊的簡單詢問從每月 700 件降到 240 件,原本平均需要 4 小時的回覆也能即時取得。若找不到依據,系統會回答「規定中未確認此項」,答錯回報每月不到 3 件。
- 需要以最新的內部文件為依據作答時
- 資料經常變動時
- 需要降低幻覺的時候
- 需要改變語氣或格式本身時(微調)
- 沒有可參考文件的純創作
- 對即時性要求極高的超低延遲情境
金鍾赫
Ara Lim