Grounding · 依據化
Grounding
什麼是 Grounding?
- 讓 AI 依據實際根據作答
- 減少幻覺
- RAG 的目的
導入 Grounding 後,組織對 AI 提出的問題本身也會改變。不再問'這個模型聰不聰明',而是會問'這個答案是根據哪份文件的第幾條得出的'。因此 Grounding 的真正效果,首先顯現在找出錯誤答案的速度上。當依據被標示出來,負責人驗證一個答案不再需要幾分鐘,而只需幾十秒;出錯時需要修正的對象,也會被鎖定為那份文件,而非模型。
Grounding 不是單一技術,而是數種方式的組合。包括把文件檢索後附上的 RAG、提問時直接附上檔案的方式,以及把庫存、應收帳款等隨時變動的數值,透過企業內部系統 API 查詢回來的方式,都會一起使用。容易混淆的 微調(Fine-tuning)性質則不同。微調是調校語氣與格式,Grounding 則是創造出處。數字與規定這類經常變動的領域,不應靠訓練,而應透過查詢來解決。
實際成敗取決於依據資料的狀態,而非模型。若同一規定的修訂版與廢止版混放在同一個資料夾,搜尋就會兩者都抓出來。每份文件都要標註施行日與版本,答案中要一併輸出文件名、條號與施行日,並設下找不到依據時不得編造,而是以'無法確認'結束的拒答規則。導入工時中超過一半,不是花在模型設定,而是花在整理文件倉庫上。
最常見的誤解是:'接上 RAG,幻覺就結束了'。如果搜尋抓到的是不相干的文件,AI 會忠實地依照那份不相干的文件作答,還附上出處,給出錯誤的答案。有了出處,員工反而更相信。三年前已廢止的差旅費規定若還留在索引中,就會被照樣引用;若沒有權限區隔,就把整個人資資料夾全部放進去,薪資表會被全體員工透過聊天機器人查詢。一旦連接了依據,管理這些依據的責任也會隨之而來。
作為將 AI 的輸出連結至外部事實與依據的概念,隨著 RAG 的普及,被強調為降低幻覺的核心原理。
以下以虛構案例說明。員工 1,200 人的汽車零件製造商 A 公司,每月總務與人資的詢問超過 900 件,因此開設了公司內部聊天機器人。然而上線三個月後,開始累積「相信了聊天機器人的說法去處理,結果被退件」的客訴。資訊策略組花了三週收集 32 件錯誤回報,剖析原因。
- 資訊策略組金副理將 32 件錯誤回答分類後發現,有 24 件是以 2021 年已廢止的舊差旅費規定作為依據作答。原因是共用雲端硬碟中,修訂版與廢止版並排留著。
- 人資室朴科長花了兩天時間瀏覽 726 份規定文件,只留下現行版本的 214 份,並在每份文件上加上'施行日・版本・主管部門'標籤。其餘文件則直接排除在搜尋對象之外。
- 答案規則也改了。找不到依據段落時不准推測,規定只能回答'依現行規定無法確認。請撥打人資室內線 3120 詢問',並將拒答用語固定下來。
- 每則回答底部都標示文件名稱、條文與施行日,主管也在開放公告中寫了一行:「沒有附出處的答案,請視為錯誤並回報。」
- 薪資表與人事考核文件另外分出獨立索引,只開放給主管級以上的帳號。權限確認不交給聊天機器人,而是交給公司內部驗證系統來處理。
- 8 週後,錯誤回報從每月 32 件降到 5 件,人資的單純詢問也從每月 900 件降到 510 件。答案的出處標示率達 97%。
金鍾赫
Seong-il Kim