推薦システム
Recommendation System
推薦システムとは?
- 好みや行動を分析して、好きそうなものを提案
- ネットフリックス・YouTubeのエンジン
- パーソナライズの代表格
推薦が入って変わるのは、画面の数か所ではなく、陳列の権限が人からモデルに移るという事実です。以前はMDと企画担当者がメインバナーや上位表示の順番を会議で決めていましたが、今は最初の画面がユーザーごとに組み立てられます。そのため導入初期に起きる対立は技術ではなく、主導権争いです。プロモーション商品を押し出したいマーケティングチームと、クリック率を上げたいモデルが同じ枠を取り合い、結局'固定エリア何枠、アルゴリズムエリア何枠'という合意を文書に残すことになります。
方式は大きく二つに分かれます。自分と似た行動をした人たちが見たものを引いてくる協調フィルタリングは、データが蓄積されるほど強くなりますが、新規ユーザーや新商品の前では無力です。反対に、商品説明・タグ・カテゴリを読むコンテンツベースは、公開初日から動く代わりに、いつも似たものばかり拾ってきます。そのため実務ではほとんどの場合二つを混ぜ、動作も候補生成とランキングの二段階に分けます。数万件から数百件をまず絞り込み、その数百件だけを精密に並べ替える構造でなければ、応答時間を数十ミリ秒以内に収められないからです。
判断基準も二重構造です。開発段階では Recall@K や NDCG のような精度指標を見ますが、最終的な勝敗はA/Bテストの転換率と再訪問率で決まります。オフラインのスコアは上がったのに実際の売上は変わらないケースは珍しくないからです。ルールベースの'一緒に見た商品'との境界も明確です。ルールは誰が来ても同じリストを返しますが、推薦システムは同じページでも人によって異なるリストを出します。運用コストと管理の難しさが最初から別物だということです。
現場で最もよくずれるのは、'推薦経由の売上'をすべて推薦の功績として計算する習慣です。どうせ買う人の前にもう一度出しても指標は上がりますが、総売上は変わりません。推薦をオフにした対照群なしで成果を報告すると、予算だけ増えて効果は結局証明されません。在庫のない商品や、すでに修了した講座が出続けるという事故も多く、一度経験したユーザーは推薦エリアそのものを目で見て除外し始めます。多様性のルールと除外条件は、公開前に決めておくほうがよいです。
1990年代の協調フィルタリング研究に始まり、2006年のネットフリックス推薦コンテストなどを経て発展し、ディープラーニングによって精緻化されました。
仮想の事例で見ていきます。国内の部品メーカーA社は役職員3,200名、社内学習プラットフォームに講座1,840件を掲載していました。ところが月間アクセス者のうち受講完了まで至る割合は19%にとどまり、上位30の人気講座が全体の受講の71%を占めていました。HRDチーム長は'講座は多いのに、誰も自分に合ったものを見つけられない'と話しました。
- HRDチームのキム代理が直近12か月の検索・受講・中途離脱ログを抽出したところ、検索語の上位100件のうち43件が'結果0件'で終わっていました。
- 最初の段階ではモデルを使わず、ルールから組みました。職務・職級・受講履歴の3つの軸で「同じ職務の先輩が多く受講した研修」10件をホームに表示し、すでに受講した研修は必ず除外するようにしました。
- 3か月後に協調フィルタリングを導入したところ、新入社員400人のおすすめ欄が空になりました。データ担当のパク課長が'最初の2週間は職務プロフィールで乗り切ろう'と言い、コールドスタートの区間を別に切り出しました。
- 露出を半分ずつに分けて8週間のA/Bテストを行いました。クリック率は14%p上がりましたが修了率は横ばいだったため、成果指標を'クリック'から'4週間以内の修了'に変え、ランキングを再学習させました。
- 6か月後、月間の受講完了率は19%から31%に、上位30講座への集中は71%から52%に下がり、一度も開講されていなかった610講座のうち280講座が初めての受講者を迎えました。
金鍾赫
ノ・ジュニョン