RLHF · 人類回饋強化學習
Reinforcement Learning from Human Feedback
什麼是 RLHF?
- 以人類偏好調整 AI
- 更有用、更安全
- 讓 ChatGPT 變得好用的關鍵
僅完成預訓練的語言模型,只會挑選接下來最可能出現的詞彙,本身並沒有判斷哪個答案較好的標準。RLHF 實際改變的,並不是模型的知識量,而是判斷標準的來源。「要親切」、「不要說謊」這類要求很難用程式打分,但把兩個答案並排、選出哪一個較好,人只要幾秒鐘就能完成。RLHF 等於把難以評分的問題,轉換為容易比較的問題,因此得以擴大規模。
標準流程分為三個階段。先以數千筆範例答覆進行監督式微調(SFT),接著用人類對同一問題的答覆配對排序、數萬筆比較資料訓練獎勵模型,再朝提高獎勵的方向進行強化學習。近來,不需獎勵模型、直接以偏好配對學習的 DPO,以及以 AI 取代評估者的 RLAIF 等降低成本的變形方法也廣泛使用。與其他技術的界線也很清楚。提示詞工程不會更動模型,特定領域 微調會注入知識與文體,而RLHF 則是重新排定模型既有知識中應優先提取哪些內容的工作。不會因此產生原本沒有的知識。
現場最常見的事故是獎勵駭客(reward hacking)。模型學的不是「好的答案」,而是「評估者給高分的模式」。若評審團對冗長而客氣的回覆舉手通過,模型就會大量產出遺漏重點的長文;若對語氣斷定的回覆給分,模型則會自信滿滿地編造不知道的內容。對使用者的話一味附和的諂媚(sycophancy)也出自同一個根源。若只以 5 到 6 位評估者匆忙蒐集偏好資料,少數人的喜好就會原封不動地固化為公司標準。沒有評估指引、只丟出「請選出較好的一方」也很危險。若不記下當初以什麼標準做出選擇,日後就沒有人能說明模型為何那樣回答。
2022 年 OpenAI 將其應用於 InstructGPT 與 ChatGPT 後廣為人知,如今已成為讓大型語言模型符合人類偏好的標準對齊技術。
以下以假設案例說明。某家擁有 740 名全體員工的產險公司 A 公司,為 120 名客服專員開放了企業內部 LLM 諮詢輔助工具。試用三個月後,AI 草稿的採用率僅 18%。主管會議上,'話說得漂亮,卻不提醒條款內容'的抱怨不斷重複出現。
- CX 營運組朴組長從年資 3 年以上的諮詢人員中選出 24 人組成評審團,讓他們對同一則詢問並排檢視 AI 產生的兩則回覆,並挑選較佳的一方。每天 15 分鐘,共進行 6 週。
- 6 週間累積的比較配對為 4,200 筆,其中標示為「兩者皆不足」的 610 筆,由 15 年資的資深人員 3 位親自重寫範例答案。
- 檢視資料後發現,諮詢人員選擇先引用條款編號的回覆次數,約為選擇冗長而客氣回覆的 3 倍。金首席歸納為「客戶等待的是依據,而不是道歉」。
- AI 團隊以這批偏好資料,訓練獎勵模型後,以 DPO 方式調校答覆模型,並將評估指引文件化,規定沒有引用條款的回覆要扣分。
- 朴組長在 24 名評審團中設下規則,每 8 週更換一半成員。目的是避免特定客服諮詢人員的說話習慣固化為公司的標準回覆。
- 調校 8 週後的測量顯示,回覆採用率從 18% 升至 54%,每件平均應對時間從 6 分 40 秒縮短為 5 分 5 秒,同一案件的重複詢問率減少了 12%。
金鍾赫
Ja-ryong Gu