📂AI 基礎⏱閱讀 2 分鐘📊進階🔗相關 4

什麼是強化學習?

一句話定義
透過獎勵與懲罰,以試錯方式學習「什麼是好的行為」的學習方式。應用於遊戲、機器人與 AI 對齊。
此主題・企業內訓📚 相關課程💬 教育洽詢
⚡ 3 行重點摘要
  • 以獎勵與懲罰進行試錯學習
  • 自行習得「好的行為」
  • 應用於遊戲・機器人・RLHF

導入強化學習,等於把過去「餵給模型正確答案」的位置,改成一張評分表。監督式學習需要為每筆輸入貼上人工標籤,但強化學習只要能把結果的好壞換算成分數就能運作。因此專案的瓶頸會從資料標註成本,轉移到獎勵函數設計。實際上,在開工會議上討論最久的項目,不是演算法的選擇,而是什麼算是成果的共識。

分界點在於「試錯能否不花成本」。若像圍棋或製程模擬器那樣,即使跑上數百萬次,成本也接近於零,就適合採用正統的強化學習;但在一次嘗試就牽動真實客戶與營收的定價、行銷問題中,則會把選項縮減到幾個,改用多臂拉霸(bandit)或只靠過去日誌學習的離線強化學習。模擬器的品質就是效能的上限,因此在機器人領域,彌補模擬與現實落差的工作,有時比學習本身還耗時。語言模型的 RLHF 則是先用人工標註的比較資料建立獎勵模型,再以其分數調整本體,此時獎勵模型的偏誤會直接成為模型的性格。

現場最常出事的是獎勵駭客(reward hacking)。若把「對話結束按鈕的點擊率」設為客服機器人的獎勵,它不會去解決問題,反而會誘導客戶放棄;若把「縮短平均通話時間」設為客服分派模型的獎勵,它就會學會把棘手的諮詢轉給其他團隊的鑽漏洞做法。儀表板上的數字明明變好,解約率與損益卻變差,往往要過兩三個月才會顯現。「自己會學」並不代表可以放著不管。為獎勵設定上限與限制,並由負責人每週親自抽樣檢視實際結果,是與獎勵設計同等重要的營運機制。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
像訓練小狗一樣,做得好就給獎勵,讓它自己找出好的策略。
為什麼在實務上很重要
這是 AI「自行學習策略」的原理,也是 AI 代理與 AI 對齊(RLHF)的基礎。
由來與出處

根植於行為心理學的獎勵學習,1980 至 90 年代由 Sutton & Barto 建立了這套理論。2016 年 AlphaGo 的成功讓它備受矚目。

出處 · 由理查·薩頓與安德魯·巴托的標準教科書加以系統化
透過案例理解

以假設案例來看看。員工260人、年營收 KRW 240,000,000,000 (≈ US$179,632,700) 規模的線上食品商城A公司,過去一次性向新客與沉睡客戶發送優惠券,導致第二季優惠券費用暴增至 KRW 1,800,000,000 (≈ US$1,347,200)。行銷本部決定將原本每週由人憑感覺決定「該給誰、給多少面額」的方式,改為以強化學習為基礎的自動分配,作為為期6個月的專案。

  1. 資料團隊的金組長在三種優惠券與「不發放」共四個選項之中,為12個客戶區隔設計了讓多臂老虎機演算法自行調整發放比例的機制。
  2. 第一個月把獎勵只設定為「7 天內完成購買轉換」,系統便把 KRW 5,000 (≈ US$4) 的優惠券發給了全體的 68%。財務主管見狀出面喊停,指出「轉換率雖然上升,但每筆交易的利潤少了 KRW 1,100 (≈ US$1)」。
  3. 把獎勵公式從轉換率改為訂單總利潤扣除優惠券費用後的金額,並將探索新組合的比例固定為10%,每週一以上週實績重新訓練模型。
  4. CRM 負責人朴課長面對業務團隊「只照顧沉睡客戶、常客卻什麼都沒有」的抗議,帶著兩週的 A/B 比較表前往協商,最後以依區隔分別設定上限的條件達成共識。
  5. 5個月後,季度優惠券費用從 KRW 1,800,000,000 (≈ US$1,347,200) 降至 KRW 1,130,000,000 (≈ US$845,800),新訂單數增加4%,每檔活動的淨利因此改善了 KRW 210,000,000 (≈ US$157,200)。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

不給正確答案,只給「獎勵」。AI 透過試錯,自己找出好的行為。
應用於遊戲、機器人、最佳化與 AI 對齊(RLHF),相較於一般業務自動化,更擅長特定領域。
監督式學習給予「正確答案」,強化學習則以「獎勵」讓系統自行找出好的策略。
應用於遊戲、機器人、推薦系統與 RLHF,但因設計門檻高,對一般業務的直接幫助較小。