紅隊 · AI 紅隊演練
Red Teaming
什麼是紅隊演練?
- 刻意攻擊以找出弱點與風險
- 模擬'惡意使用者'
- 安全上線的必要流程
導入紅隊演練後,驗證的問題本身就改變了。QA 確認的是「是否依需求運作」,紅隊則問「要怎麼做才能把它搞壞」。因此部署的核准標準也從準確率幾個百分點,轉向被突破的案例有幾件、嚴重程度如何。這也是為什麼必須把建置者與攻擊者分開。人很難懷疑自己設計的前提,因此需要專責擔任攻擊者角色的獨立人力,並建立把發現漏洞的件數認列為績效的結構。
實務上通常分成三種方式進行。由人設計對話、親自試探的手動紅隊演練;自動生成攻擊提示詞、一次投出數千筆的自動紅隊演練;以及像醫療、法律、金融、兒童安全那樣,必須有專家介入才能判定風險與否的領域紅隊演練。與滲透測試的目標不同——滲透測試攻破的是伺服器與權限,紅隊演練攻破的則是模型本身說出的話。也與基準測試評估有所區別。基準測試是對既定題目反覆計分,紅隊演練則是設計尚未出題過的問題。因此,產出應該是附有重現步驟的漏洞清單,而非計分表。
現場最常出錯的地方,是把紅隊演練當成開放前一次性的例行儀式。一旦升級模型版本、調整系統提示詞,或新接入內部文件,攻擊面就會改變,因此每次有變動都應重新執行才對。第二個誤解是只靠新增違禁詞來封堵已發現的漏洞。過濾越緊,連正常諮詢也會被擋下,聊天機器人只會一直重複「很抱歉,目前無法回答」,兩三個月後業務端就會停止使用。封鎖的強度與封鎖的準確度必須一起衡量。最後,若報告中缺少重現對話,開發團隊就無法修正。「看起來很危險」這類感想,無法成為修正工單。
源自軍事與資安領域的'假想敵(red team)'概念,後來擴展為 AI 安全驗證的標準流程。
我們以假設案例說明。員工約 900 人規模的產險公司 A 公司,花了 4 個月開發保險金理賠諮詢聊天機器人,距離上線只剩兩週。內部測試準確率為 91%,但法遵監理室以'若承諾了保單條款之外的保障,責任由誰承擔'為由,暫緩核准。最終上線延後六週,並先組成紅隊。
- 數位創新團隊的朴課長抽調客服中心 4 名客服人員與法遵監理室 2 名負責人組成紅隊,並刻意排除聊天機器人的開發者。理由是'設計者出手會留情'。
- 兩週內撰寫了 420 則攻擊情境。客服人員從實際客訴錄音中擷取的'不用診斷書也能理賠吧'之類的句子,佔了一半以上。
- 第一輪測試中,共有 37 件被突破。特別是只要把開頭改成「我朋友很好奇」,聊天機器人就會跳過免責條款、回答「可以理賠」的模式,反覆出現了 11 次。
- 朴課長要求每件發現都必須附上重現對話全文與畫面才能登錄,並將嚴重度分為高、中、低;高等級的 9 件列為上線前必修項目。
- 三週後的複測中,成功繞過的案例從 37 件減至 4 件;在收緊過濾條件的過程中,正常提問遭拒的比率曾升至 12%,重新界定回答範圍後已降至 5%。
金鍾赫
朴雪英