人在迴路中 · HITL
Human-in-the-Loop
人在迴路中(HITL)是什麼?
- 在 AI 流程中設置人工審核與介入節點的設計
- 錯誤與幻覺的最後防線,也是責任歸屬的依據
- 決策風險越高,就越要加強人為介入
設計 HITL 之後,組織內的問題會開始改變。原本問「AI 有多準確」的地方,會出現 「出錯時,由誰、在什麼時間點發現?」這個問題。要把模型效能提升到 100% 是不可能的,但可以建立關卡,讓錯誤在真正執行前被攔下。HITL 的實質效果,就是讓討論從準確度的競爭,轉向控制點的設計。
介入方式通常分為三層。執行前必須由人核准才能進行的事前管控;執行由系統自動完成、但事後抽樣檢查紀錄的人在迴路上(HOTL);以及由人掌握系統啟動與停止權限本身的人在指揮中(HIC)。實務上會混合使用。例如模型信心度 90% 以上自動處理,70~90% 進入審核佇列,70% 以下自動退回。有一個需要注意的界線:人只是盯著畫面,並不等於 HITL。必須同時給予推翻結果的權限與判斷的時間,才能發揮控制點的功能。
現場最常崩潰的地方就是核准按鈕。當一位審核者一天被分配 300 件時,人就會傾向於照 AI 的判斷照單全收(自動化偏誤),稽核紀錄裡會全都是「人工核准」,但實際上的檢視幾乎等於零。在這種狀態下一旦出事,責任會落在最後按下按鈕的實務人員身上,HITL 就會淪為免責的擋箭牌。請同時設定審核件數上限、要求填寫一行核准理由,並監控退回率。如果退回率持續為 0%,就是審核沒有發揮作用的訊號。
源自控制系統與機器學習中的人為介入研究,隨著生成式 AI 與代理的普及,已成為 AI 治理的標準用語。
以下以假設案例說明。全體員工 420 人規模的流通企業 A 公司,在下半年公開招募時導入 AI 履歷篩選。應徵者達 2,400 人,人資團隊審閱履歷的人力只有 3 人,甄選期間也只有兩週。導入第一週,就有應徵者來信質疑「連標準是什麼都不知道,就把人刷掉」,人資主管因此重新規劃了人工介入的節點。
- 人資主管縮減了 AI 的權限。只讓 AI 過濾工作年資、必備證照等可直接查證的不符條件,僅憑適配度分數淘汰應徵者則一律禁止。
- 前三週同時進行 AI 判定與負責人判定。針對 AI 淘汰的 310 件,由 2 名招募負責人全數重新審查,結果發現其中 17 件為誤淘汰,原因在於經歷欄位的格式不同。
- 在重新檢討會議上,一位負責人說:「這份履歷如果沒有人看過,就會直接被刷掉」,組長於是修改規則,把 60~75 分區間列為「保留」,全部交由人工處理。
- 審核畫面也一併調整。通過、淘汰按鈕都必須填寫一行理由,並將每位審核人員每日上限設為 120 筆,以防止機械式的連續點擊。
- 三個月後,誤淘汰從 17 件降到 2 件,書面審查所需時間從 11 天縮短為 4 天。應試者提出異議的件數則從每月 23 件降到 4 件。
金鍾赫
朴雪英