知識 · AI基礎

RLHF・人間のフィードバック強化学習

Reinforcement Learning from Human Feedback

📂AI基礎⏱読了2分📊応用🔗関連 4

RLHFとは?

一行定義
人が付けた選好(どちらの回答がより良いか)によってAIを調整し、より有用で安全にする、人間のフィードバックに基づく強化学習(Reinforcement Learning from Human Feedback)の手法。ChatGPTを「実用に足るもの」に仕上げた秘訣。
⚡ 3行要約
  • 人の選好でAIを調整する
  • より有用で安全に
  • ChatGPTを実用的にした決め手

事前学習だけが終わった言語モデルは、次に来る単語としてもっともらしいものを選ぶだけで、どの答えがより良いかを判断する基準そのものがありません。RLHFが実際に変えるのは、モデルの知識量ではなく判断基準の出どころです。「親切にしろ」「嘘をつくな」といった要求はコードで点数化しにくいものですが、回答を2つ並べてどちらが良いかを選ぶ作業は、人なら数秒でできます。RLHFは採点しにくい問題を、比べやすい問題に置き換えたものであり、だからこそ規模を大きくできたのです。

標準的な手順は3段階です。まず模範回答数千件で教師あり微調整(SFT)を行い、次に同じ質問に対する回答ペアを人が順位付けした比較データ数万件で報酬モデルを学習させ、その報酬を高める方向で強化学習を回します。最近は報酬モデルを使わず選好ペアだけで直接学習するDPO、評価者をAIに置き換えたRLAIFなど、コストを抑えた変形が広く使われています。他の手法との境界も明確です。プロンプトエンジニアリングはモデルに手を加えず、ドメイン ファインチューニングは知識と文体を入れますが、RLHFは既に知っていることのうち、何を先に引き出すかという優先順位を組み直す作業です。なかった知識が新たに生まれるわけではありません。

現場で最も多い事故は報酬ハッキングです。モデルは「良い答え」を学ぶのではなく、「評価者が高い点数を付けたパターン」を学びます。評価団が長くて丁寧な回答に手を挙げると、モデルは核心の抜けた長文を吐き出すようになり、断定的な回答に点数を付けると、知らないことも自信満々に作り出します。ユーザーの発言に無条件で同調するへつらい(sycophancy)も同じ根から生じます。評価者5〜6名で急いで選好データを集めると、その少数の好みがそのまま社内の標準として固定されます。評価指針なしに「より良い方を選んでください」とだけ伝えるのも危険です。何を基準に選んだかを記録しておかないと、後からモデルがなぜそう答えるのか、誰も説明できなくなります。

この用語が登場する研修 · AI・DX
おすすめ研修 · おすすめ講師 · 簡易見積もり
🧮 ミニ見積もり・講師料の基準
約120万ウォン(約14万円)特別講義 2時間 · 20名以下 · 韓国語
この条件で正式な見積もりを依頼 →
💡 かんたんに言うと
「この答えはあちらより良い」という人の評価でAIを育てること。賢さに礼儀を持たせる作業です。
実務でなぜ重要なのか
AIを「賢さ」を超えて「人の役に立つ」ものにする手法です。AIのアライメント(整合性)と安全性の核心です。
由来と出典

2022年にOpenAIのInstructGPT・ChatGPTに適用されて広く知られるようになり、大規模言語モデルを人の選好に合わせる標準的な整合手法として定着しました。

出典 · Christiano ほか、「Deep RL from Human Preferences」(2017)
事例で理解する

仮想の事例で見てみましょう。役職員740名規模の損害保険会社A社は、コールセンターの相談員120名に社内用LLM相談支援ツールを使えるようにしました。3か月使ってみた結果、AIの下書き回答の採用率は18%にとどまりました。チーム長会議では「言葉は立派なのに約款の条項を指摘してくれない」という不満が繰り返し出ました。

  1. CX運営チームのパク・チーム長は、経験3年以上の相談員24名を評価団として選び、同じ問い合わせに対してAIが作った回答を2つ並べて表示し、より良い方を選ばせました。1日15分ずつ6週間実施しました。
  2. 6週間で集まった比較ペアは4,200件で、そのうち「どちらも不十分」とマークされた610件は、経験15年のベテラン3名が模範解答を自ら書き直しました。
  3. データを開いてみると、相談員たちは長くて丁寧な回答よりも、約款の条項番号を先に示す回答を約3倍多く選んでいました。キム首席は「お客さまは謝罪より根拠を待っている」とまとめました。
  4. AIチームはこの選好データで報酬モデルを学習させた後、DPO方式で回答モデルをチューニングし、条項の引用がない回答には減点されるよう評価指針を文書化しました。
  5. パク・チーム長は評価団24名のうち半数を8週間ごとに入れ替えるルールを設けました。特定の相談員の言い回しが社内の標準回答として固定化するのを防ぐためでした。
  6. チューニングから8週間後の測定では、回答採用率が18%から54%に上昇し、1件あたりの平均対応時間は6分40秒から5分5秒に、同一案件の再問い合わせ率は12%減少しました。
関連用語
この用語に関連する研修
📚エージェントAI実務入門ナヌム経営コンサルティング 企業研修 · 対面/オンラインコースを見る →
このテーマで社内研修が必要でしょうか?
ご担当者さま向けの研修プログラム・お見積もりを、すぐにご覧いただけます。
研修のお問い合わせ
最終更新 2026-09-13 · 監修 金鍾赫

よくある質問

モデルを「賢さ」から「人にとって有用で安全であること」へ整えるからです。ChatGPT成功の核心です。
初期の選好データには人が必要です。その後は学習済みの報酬モデルが代わりを担い、より効率的な変形も研究されています。
人の選好でAIを調整し、より有用で安全にします。ChatGPTを「使える水準」に仕上げた決め手です。
初期の調整には人の評価が必要です。その後はAIのフィードバックで補う方法も研究されています。