専門家混合 · MoE
Mixture of Experts
専門家混合とは?
- 必要な専門家だけを有効化
- 大きいが演算は節約(スパース活性化)
- 最新の大型モデルが採用
MoEが実際に変えるのは、モデルの規模と推論コストが一体になっていた関係です。これまではパラメータを2倍に増やすと、トークン1つを処理する演算量もおおむね2倍になりました。MoEではこの二つが分離されるため、モデルの仕様を見るときは総パラメータと活性パラメータの2つの数字を一緒に確認する必要があります。回答の品質は総量が押し上げ、請求書に載る金額は活性量が決めるのです。
構造的に見ると、トランスフォーマーブロックのフィードフォワード層を複数の専門家に分け、ルーターがトークンごとに上位1〜2個だけを選ぶ方式が一般的です。専門家が64個なのに2個しか使わなければ、活性比率は3%ほどです。ここでアンサンブルと混同してはいけません。アンサンブルは複数のモデルをすべて動かして結果を合わせますが、MoEは最初から1つだけを選んで動かす構造です。もう一つ、専門家は「法律担当」「医療担当」のように人が分かる分野に分かれるわけではありません。学習の過程で自然に分かれるため、どの専門家が何を担当するかは人が指定できず、特定の専門家への偏りを防ぐために別途の均衡損失を設けて学習させます。
導入判断の基準は意外とシンプルです。APIで借りて使う会社であれば、MoEかどうかはトークン単価と応答速度だけに表れるため、内部構造を詳しく見る実益はあまりありません。逆に、モデルを直接載せて運用する計画であれば話はまったく変わります。同じ品質を出す密(dense)モデルと比べると、メモリはより多く使い、演算は少なく使うというトレードオフになるため、機器を選ぶ基準そのものが変わるからです。
現場で最も壊れやすいのがまさにこのメモリです。'アクティブパラメータが130億だからGPUGPU1枚で足りる'と計算して自社構築に入ったものの、総パラメータをすべてメモリに載せておく必要があるという壁にぶつかり、機材見積もりが何倍にも跳ね上がるケースがよくあります。MoEが減らしてくれるのは演算量であって、メモリではないという点を見落としたことが原因です。同時リクエストが集中するときも同じです。バッチに含まれるトークンがそれぞれ別の専門家を呼び出すと、結局ほとんどの専門家が起きてしまい、期待していた削減分はトラフィックが集中する時間帯から真っ先に消えてしまいます。
専門家混合の概念は1991年にジェイコブス・ヒントンらの研究で提示され、大規模言語モデルの時代に効率的な拡張手法として再び注目されています。
仮想の事例で見ていきましょう。役職員240名規模の損害保険の損害査定受託会社A社は、昨年から顧客問い合わせ対応に大規模言語モデルのAPIを導入しました。月間の呼び出しが380万件に増え、請求額は2,100万ウォン(約251万円)に達しました。経営陣は'来年のAI予算は今年の半分'と釘を刺し、品質を落とさずにコストだけを削るという3か月の課題が降ってきたわけです。
- AIプラットフォームチームのパク・チーム長が問い合わせログ3万件を分類したところ、62%が'保険金支払い基準'と'書類の再提出'の2つのタイプに集中していました。残りは裾野のように散らばっていました。
- パク・チーム長は、総パラメータ1,410億・アクティブパラメータ130億規模のMoEモデルへの乗り換え案を提出しました。そして、'同じ品質でトークン単価は3分の1'というベンダーの説明を、2週間にわたり実際の問い合わせ5,000件で直接検証しました。
- オンプレミスとの併用を検討していたインフラ担当のキム課長が、「活性パラメータが130億でも、GPUには1,410億を丸ごと載せる必要がある」と言いながらH100 8枚構成の見積書を持ってくると、チームは自社構築を取りやめ、API利用に方向転換しました。
- 夜間の精算問い合わせが一度に押し寄せた日、応答遅延が平常時の1.7倍に跳ね上がったため、1時間あたり3,000件ずつ流すキューを設け、単純な反復問い合わせはキャッシュに振り分けました。
- 3か月後、月間API費用は2,100万ウォン(約251万円)から780万ウォン(約93万円)へ下がり、相談員の一次応答時間は平均4分20秒から2分50秒に短縮されました。
イ・ミル
ミン・グァンドン