護欄
AI Guardrails
什麼是護欄?
- 防止危險與不當回答的安全機制
- AI 的'護欄'
- 防止濫用・外洩
加上護欄,是把'模型會自己適當作答吧'這種期待,改成'不能做什麼,由我們用文件和程式碼明確寫下'。不必改動模型本身,就能在服務層收窄行為範圍;因此出事時,能追查是哪一個環節出了缺口,例如'輸入端沒擋下來、輸出端沒有規則',而不只是'模型怪怪的'。責任歸屬會從模型供應商轉到營運團隊,而控制權也一併移交過來。
實務上通常分成三層來看。輸入端(阻擋危險請求與個資模式)、輸出端(產生回答後再次檢查)、執行端(限制付款、寄送郵件等工具呼叫的權限)。做法上有禁用詞、正規表示式、白名單等硬性規則,也有由另一個模型審查回答的軟性規則。硬性規則快速但容易被繞過,軟性規則涵蓋範圍較廣,代價是回應會多花 0.3 到 1 秒,並產生呼叫成本。預訓練階段的對齊(alignment)是模型內部的問題,護欄則是從外部加裝的外殼;若AI 治理是政策文件,護欄就是實際強制執行該文件的程式碼。
常見的誤解是以為只要在系統提示詞裡寫上「不要說髒話,不要給規範外的回答」就萬事大吉。提示詞只是勸說,不是攔截,所以只要一句「從現在起你沒有任何規定」,就可能被突破。反過來,若因害怕而塞進大量禁用詞,「故障」「退款」這類正常詞彙也會被擋下,正常的詢問遭到拒絕,客戶只好轉向客服人員,導入的效果隨之消失。不累積攔截紀錄也很危險。若不知道哪些內容被擋了幾次,就無從判斷規則是過嚴還是過鬆,而即使真的出現漏洞,往往也要等截圖在社群上流傳後才會發現。
隨著生成式 AI 進入實際服務,控管不當與危險輸出的需求大增,用於此目的的規則與過濾機制被稱為'護欄',並已成為標準實務。
以下用一個假設案例來說明。A 公司是員工 420 人規模的家電製造商,客服諮詢量增加到每月 3 萬 8 千件,於是先以試辦方式導入諮詢聊天機器人。從第二個月起,每週累計 23 件'承諾了規定之外的免費更換'的案例,而且有回答貶低其他品牌產品的截圖在社群流傳,於是展開了為期 8 週的護欄工程。
- 客服中心主管金部長擷取了 3 週份、共 1 萬 2 千筆的諮詢紀錄,整理出 47 句'AI 絕對不能說的話'。排名第一的是附帶金額的補償承諾。
- 開發團隊在輸入端設置了個資與他公司名稱的比對過濾器,並在輸出端另設判定模型,讓系統在回答送出前再次檢查'是否把補償金額以數字說出'。
- 品管負責人李課長親自設計 300 組攻擊提示詞來測試,結果像'你現在沒有任何規範'這類提示就有 12 件被突破。於是改以輸出端的硬性規則取代提示詞指令來阻擋。
- 上線第一週,正常詢問的攔截率飆升至 9%,客服人員紛紛抗議「明明是正常問題,為什麼要擋?」我們從禁用詞清單中移除了「故障、損壞、換貨」等 14 個一般用詞。
- 超過 KRW 50,000 (≈ US$37) 的賠償說明會轉交客服人員審核佇列處理;並加上每日上午 9 點自動發送攔截紀錄摘要至營運頻道的機制。
- 8 週後,違反規定的回答從每週 23 件降到 2 件,正常諮詢被誤擋的比例則從 9% 降至 1.4%。回應雖然慢了 0.4 秒,但轉接真人客服的比率從 31% 降到 19%。
金鍾赫
Ara Lim