知識 · AI 基礎

RLHF · 人類回饋強化學習

Reinforcement Learning from Human Feedback

📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 4

什麼是 RLHF?

一句話定義
透過人類標註的偏好(哪個回答較好)來調整 AI,使其更有用、更安全的人類回饋強化學習(Reinforcement Learning from Human Feedback)技術。這是讓 ChatGPT 變得'好用'的關鍵。
此主題,改以企業內訓進行📚 相關課程💬 教育洽詢
⚡ 3 行重點摘要
  • 以人類偏好調整 AI
  • 更有用、更安全
  • 讓 ChatGPT 變得好用的關鍵

僅完成預訓練的語言模型,只會挑選接下來最可能出現的詞彙,本身並沒有判斷哪個答案較好的標準。RLHF 實際改變的,並不是模型的知識量,而是判斷標準的來源。「要親切」、「不要說謊」這類要求很難用程式打分,但把兩個答案並排、選出哪一個較好,人只要幾秒鐘就能完成。RLHF 等於把難以評分的問題,轉換為容易比較的問題,因此得以擴大規模。

標準流程分為三個階段。先以數千筆範例答覆進行監督式微調(SFT),接著用人類對同一問題的答覆配對排序、數萬筆比較資料訓練獎勵模型,再朝提高獎勵的方向進行強化學習。近來,不需獎勵模型、直接以偏好配對學習的 DPO,以及以 AI 取代評估者的 RLAIF 等降低成本的變形方法也廣泛使用。與其他技術的界線也很清楚。提示詞工程不會更動模型,特定領域 微調會注入知識與文體,而RLHF 則是重新排定模型既有知識中應優先提取哪些內容的工作。不會因此產生原本沒有的知識。

現場最常見的事故是獎勵駭客(reward hacking)。模型學的不是「好的答案」,而是「評估者給高分的模式」。若評審團對冗長而客氣的回覆舉手通過,模型就會大量產出遺漏重點的長文;若對語氣斷定的回覆給分,模型則會自信滿滿地編造不知道的內容。對使用者的話一味附和的諂媚(sycophancy)也出自同一個根源。若只以 5 到 6 位評估者匆忙蒐集偏好資料,少數人的喜好就會原封不動地固化為公司標準。沒有評估指引、只丟出「請選出較好的一方」也很危險。若不記下當初以什麼標準做出選擇,日後就沒有人能說明模型為何那樣回答。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
以「這個答案比那個好」的人類評分來馴化 AI —— 讓聰明變得有禮貌。
為什麼在實務上很重要
這是讓 AI 超越'聰明',進一步做到'對人有幫助'的技術,也是 AI 對齊與安全的核心。
由來與出處

2022 年 OpenAI 將其應用於 InstructGPT 與 ChatGPT 後廣為人知,如今已成為讓大型語言模型符合人類偏好的標準對齊技術。

出處 · Christiano 等人,「Deep RL from Human Preferences」(2017)
透過案例理解

以下以假設案例說明。某家擁有 740 名全體員工的產險公司 A 公司,為 120 名客服專員開放了企業內部 LLM 諮詢輔助工具。試用三個月後,AI 草稿的採用率僅 18%。主管會議上,'話說得漂亮,卻不提醒條款內容'的抱怨不斷重複出現。

  1. CX 營運組朴組長從年資 3 年以上的諮詢人員中選出 24 人組成評審團,讓他們對同一則詢問並排檢視 AI 產生的兩則回覆,並挑選較佳的一方。每天 15 分鐘,共進行 6 週。
  2. 6 週間累積的比較配對為 4,200 筆,其中標示為「兩者皆不足」的 610 筆,由 15 年資的資深人員 3 位親自重寫範例答案。
  3. 檢視資料後發現,諮詢人員選擇先引用條款編號的回覆次數,約為選擇冗長而客氣回覆的 3 倍。金首席歸納為「客戶等待的是依據,而不是道歉」。
  4. AI 團隊以這批偏好資料,訓練獎勵模型後,以 DPO 方式調校答覆模型,並將評估指引文件化,規定沒有引用條款的回覆要扣分。
  5. 朴組長在 24 名評審團中設下規則,每 8 週更換一半成員。目的是避免特定客服諮詢人員的說話習慣固化為公司的標準回覆。
  6. 調校 8 週後的測量顯示,回覆採用率從 18% 升至 54%,每件平均應對時間從 6 分 40 秒縮短為 5 分 5 秒,同一案件的重複詢問率減少了 12%。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

因為這會讓模型從「聰明」轉向「對人類有用、安全」的方向對齊。是 ChatGPT 成功的核心。
初期偏好資料需要人工標註。之後改由訓練完成的獎勵模型代為執行,同時也在研究更有效率的變形方法。
以人類偏好調校 AI,使其更有用、更安全 —— 是讓 ChatGPT 變得好用的關鍵。
初期調校需要人工評估。之後也有研究以 AI 回饋加以補強的方法。