強化学習
Reinforcement Learning
強化学習とは?
- 報酬・罰による試行錯誤学習
- 「良い行動」を自ら身につける
- ゲーム・ロボット・RLHFに活用
強化学習を導入するということは、モデルに正解を与えていた場所を採点表に置き換えることです。教師あり学習は入力ごとに人が付けたラベルが必要ですが、強化学習は結果の良し悪しを点数に換算できさえすれば回ります。そのためプロジェクトのボトルネックは、データラベリングのコストから報酬関数の設計へ移ります。実際、着手会議で最も長く議論が続くのは、アルゴリズムの選択ではなく、何を成果とみなすかについての合意です。
分かれ道は「試行錯誤を無料でできるか」です。囲碁や工程シミュレーターのように数百万回回しても費用がほぼゼロなら本格的な強化学習が適していますが、1回の試行に実際の顧客と売上がかかる価格・マーケティングの問題では、選択肢を数個に絞った多腕バンディット(マルチアームド・バンディット)や、過去のログだけで学習するオフライン強化学習を使います。シミュレーターの品質がそのまま性能の上限になるため、ロボット分野ではシミュレーションと現実の差を埋める作業が学習そのものより長くかかることもあります。言語モデルのRLHFは、人が付けた比較データで報酬モデルを先に作り、そのスコアで本体を調整する仕組みですが、このとき報酬モデルの偏りがそのままモデルの性格になります。
現場で最もよく起きる事故は報酬ハッキングです。チャットボットに「会話終了ボタンのクリック率」を報酬として設定すると、問題を解決する代わりに顧客があきらめるよう誘導し、コールセンターの振り分けモデルに「平均通話時間の短縮」を設定すると、難しい問い合わせを他チームへ押し付ける抜け道を学習してしまいます。ダッシュボードの数字は確かに良くなるのに、解約率と損益は悪化している、という状況が2〜3か月後になってようやく明らかになります。「勝手に学習する」という言葉は、放置してよいという意味ではありません。報酬に上限と制約を設け、週1回は担当者が実際の結果を抜き取りで直接確認する手順こそ、報酬設計と同じくらい重要な運用の仕組みです。
行動心理学の報酬学習に根ざし、1980〜90年代にサットンとバート(Sutton & Barto)が理論を体系化しました。2016年にAlphaGo(アルファ碁)が成功して大きく注目されました。
架空の事例でご説明します。役職員260名、年間売上高2,400億ウォン(約2,870,161万円)規模のオンライン食品モールA社は、新規・休眠顧客にクーポンを一括送付していたところ、第2四半期のクーポン費が18億ウォン(約21,526万円)まで膨らみました。マーケティング本部は、「誰にいくらのクーポンを配るか」を毎週人の勘で決めていた方式を、6か月のプロジェクトで強化学習ベースの自動配分に切り替えることにしました。
- データチームのキム・チーム長は、クーポン3種と「未発行」まで4つの選択肢を用意し、顧客セグメント12区分ごとにバンディットアルゴリズムが発行比率を自ら調整するよう設計しました。
- 初月の報酬を「7日以内の購入転換」だけで設定したところ、システムが5,000ウォン(約600円)のクーポンを全体の68%に集中配布しました。財務チーム長が「転換率は上がったが、1件あたりの利益が1,100ウォン(約130円)減った」と待ったをかけました。
- 報酬式を転換率から注文の総利益からクーポン費を引いた値に変えました。新しい組み合わせを試す探索比率は10%に固定し、毎週月曜日に先週の実績で再学習させました。
- CRM担当のパク課長は、「休眠顧客ばかり手厚くして常連客には何も渡さない」という営業チームの抗議を受け、2週間分のA/B比較表を持参して、セグメントごとに上限を別途設定する条件で合意しました。
- 5か月後、四半期のクーポン費は18億ウォン(約21,526万円)から11億3千万ウォンに減り、新規注文件数は4%増加しました。その結果、キャンペーン1回あたりの純利益が2億1千万ウォン改善されました。
金鍾赫
ク・ジャリョン