RLHF・人間のフィードバック強化学習
Reinforcement Learning from Human Feedback
RLHFとは?
- 人の選好でAIを調整する
- より有用で安全に
- ChatGPTを実用的にした決め手
事前学習だけが終わった言語モデルは、次に来る単語としてもっともらしいものを選ぶだけで、どの答えがより良いかを判断する基準そのものがありません。RLHFが実際に変えるのは、モデルの知識量ではなく判断基準の出どころです。「親切にしろ」「嘘をつくな」といった要求はコードで点数化しにくいものですが、回答を2つ並べてどちらが良いかを選ぶ作業は、人なら数秒でできます。RLHFは採点しにくい問題を、比べやすい問題に置き換えたものであり、だからこそ規模を大きくできたのです。
標準的な手順は3段階です。まず模範回答数千件で教師あり微調整(SFT)を行い、次に同じ質問に対する回答ペアを人が順位付けした比較データ数万件で報酬モデルを学習させ、その報酬を高める方向で強化学習を回します。最近は報酬モデルを使わず選好ペアだけで直接学習するDPO、評価者をAIに置き換えたRLAIFなど、コストを抑えた変形が広く使われています。他の手法との境界も明確です。プロンプトエンジニアリングはモデルに手を加えず、ドメイン ファインチューニングは知識と文体を入れますが、RLHFは既に知っていることのうち、何を先に引き出すかという優先順位を組み直す作業です。なかった知識が新たに生まれるわけではありません。
現場で最も多い事故は報酬ハッキングです。モデルは「良い答え」を学ぶのではなく、「評価者が高い点数を付けたパターン」を学びます。評価団が長くて丁寧な回答に手を挙げると、モデルは核心の抜けた長文を吐き出すようになり、断定的な回答に点数を付けると、知らないことも自信満々に作り出します。ユーザーの発言に無条件で同調するへつらい(sycophancy)も同じ根から生じます。評価者5〜6名で急いで選好データを集めると、その少数の好みがそのまま社内の標準として固定されます。評価指針なしに「より良い方を選んでください」とだけ伝えるのも危険です。何を基準に選んだかを記録しておかないと、後からモデルがなぜそう答えるのか、誰も説明できなくなります。
2022年にOpenAIのInstructGPT・ChatGPTに適用されて広く知られるようになり、大規模言語モデルを人の選好に合わせる標準的な整合手法として定着しました。
仮想の事例で見てみましょう。役職員740名規模の損害保険会社A社は、コールセンターの相談員120名に社内用LLM相談支援ツールを使えるようにしました。3か月使ってみた結果、AIの下書き回答の採用率は18%にとどまりました。チーム長会議では「言葉は立派なのに約款の条項を指摘してくれない」という不満が繰り返し出ました。
- CX運営チームのパク・チーム長は、経験3年以上の相談員24名を評価団として選び、同じ問い合わせに対してAIが作った回答を2つ並べて表示し、より良い方を選ばせました。1日15分ずつ6週間実施しました。
- 6週間で集まった比較ペアは4,200件で、そのうち「どちらも不十分」とマークされた610件は、経験15年のベテラン3名が模範解答を自ら書き直しました。
- データを開いてみると、相談員たちは長くて丁寧な回答よりも、約款の条項番号を先に示す回答を約3倍多く選んでいました。キム首席は「お客さまは謝罪より根拠を待っている」とまとめました。
- AIチームはこの選好データで報酬モデルを学習させた後、DPO方式で回答モデルをチューニングし、条項の引用がない回答には減点されるよう評価指針を文書化しました。
- パク・チーム長は評価団24名のうち半数を8週間ごとに入れ替えるルールを設けました。特定の相談員の言い回しが社内の標準回答として固定化するのを防ぐためでした。
- チューニングから8週間後の測定では、回答採用率が18%から54%に上昇し、1件あたりの平均対応時間は6分40秒から5分5秒に、同一案件の再問い合わせ率は12%減少しました。
金鍾赫
ク・ジャリョン