Hallucination · 幻覺
Hallucination
什麼是幻覺(Hallucination)?
- 把不實內容說得煞有其事地編造出來
- 生成式 AI 的核心風險
- 以依據化與驗證來管理
正確理解幻覺,AI 導入的設計本身也會改變。與其問「AI 能做什麼」,更重要的是出錯時由誰、在哪一關把關,這才是規劃工作流程的標準。即使草稿撰寫快了五倍,若檢核要花同樣多的時間,最後等於沒有效益,因此實務上效益是以含驗證時間在內的總耗時來計算。所以挑選第一個要導入 AI 的工作時,最好從答案只有一個、一出錯就馬上看得出來的工作開始,這樣最為安全。
幻覺並非單一類型,而是可以區分的。包括憑空製造不存在的論文、判例與統計的事實捏造;內容正確,卻編造出處連結或頁碼的出處捏造;以及即使提供了依據文件,仍偷偷加入該文件中沒有的句子的扭曲型。以 RAG 能降低的主要是前面兩種,第三種則依然存在。另外,不知道訓練之後資訊的知識截止,或資料偏誤,其成因與幻覺不同,因此對策也不同,必須加以區分。回答越長、專業領域越窄,或夾雜越多數字、專有名詞與日期,出現的頻率就越高。
現場最常見的誤解是「只要問出處就安全」。請一個會編造出處的模型提供出處,並不是驗證;必須確認連結是否真的能打開,該文件中是否真的有那句話,才算驗證。「換成最新模型就能解決」的期待同樣有風險。發生頻率雖然降低,但文句變得更流暢,反而更不容易被發現。事故往往反而發生在接上 RAG 之後。若因「現在有依據了,應該沒問題」而放鬆檢核,客戶說明文件中就可能出現沒有依據的退款條件,合約審閱摘要中也可能混入原文沒有的條款,責任就會原封不動地轉嫁到公司身上。
隨著生成式 AI 普及,「看似合理卻是錯誤的答案」成為實務上的風險,這個用語因而廣為使用。其根源在於語言模型並非儲存了標準答案,而是以機率生成句子的結構。
以下以假設案例說明。員工 180 人、年營收約 KRW 90,000,000,000 (≈ US$67,362,200) 上下的工業材料經銷商 A 公司,開始以生成式 AI 製作客戶詢問的回覆草稿。導入兩個月後,一家客戶公司提出申訴,要求「依照收到的郵件所載退貨條件處理」,但 A 公司根本沒有這樣的規定。
- 業務支援組金課長回頭檢視寄出的郵件,發現「開封後 14 日內可退貨」這句話出現在三封信件中,但沒有人記得寫過這項條件。
- 品質保證組長將八月一整個月的 AI 草稿回覆 120 則,逐一與規章集比對,結果發現有 19 則(15.8%)含有公司內部查無依據的句子。
- 資訊系統負責人朴次長將規章集、單價表與合約標準範本等 42 份 PDF 上傳至檢索用儲存庫,並固定下了「若文件中沒有相關內容,只能回答『需向負責人確認』」這項指令。
- 業務理事訂下原則:「含有金額、期限或法律條件的句子,必須由人工檢查兩次」,並調整郵件範本,使這類回覆在主管核准前無法按下發送按鈕。
- 三個月後以同樣方式重新檢查 120 則,無依據的句子減少為 2 則(1.7%),回覆撰寫時間也每則從 25 分鐘縮短為 9 分鐘。
金鍾赫
朴雪英