知識 · AI基礎

専門家混合 · MoE

Mixture of Experts

📂AI基礎⏱読了2分📊応用🔗関連 4

専門家混合とは?

一行定義
1つの巨大モデルの代わりに、複数の'専門家'サブモデルを置き(Mixture of Experts)、入力ごとに必要な専門家だけを選んで使う効率的な構造。
このテーマを、社内研修で📚 関連研修💬 研修のお問い合わせ
⚡ 3行要約
  • 必要な専門家だけを有効化
  • 大きいが演算は節約(スパース活性化)
  • 最新の大型モデルが採用

MoEが実際に変えるのは、モデルの規模と推論コストが一体になっていた関係です。これまではパラメータを2倍に増やすと、トークン1つを処理する演算量もおおむね2倍になりました。MoEではこの二つが分離されるため、モデルの仕様を見るときは総パラメータと活性パラメータの2つの数字を一緒に確認する必要があります。回答の品質は総量が押し上げ、請求書に載る金額は活性量が決めるのです。

構造的に見ると、トランスフォーマーブロックのフィードフォワード層を複数の専門家に分け、ルーターがトークンごとに上位1〜2個だけを選ぶ方式が一般的です。専門家が64個なのに2個しか使わなければ、活性比率は3%ほどです。ここでアンサンブルと混同してはいけません。アンサンブルは複数のモデルをすべて動かして結果を合わせますが、MoEは最初から1つだけを選んで動かす構造です。もう一つ、専門家は「法律担当」「医療担当」のように人が分かる分野に分かれるわけではありません。学習の過程で自然に分かれるため、どの専門家が何を担当するかは人が指定できず、特定の専門家への偏りを防ぐために別途の均衡損失を設けて学習させます。

導入判断の基準は意外とシンプルです。APIで借りて使う会社であれば、MoEかどうかはトークン単価と応答速度だけに表れるため、内部構造を詳しく見る実益はあまりありません。逆に、モデルを直接載せて運用する計画であれば話はまったく変わります。同じ品質を出す密(dense)モデルと比べると、メモリはより多く使い、演算は少なく使うというトレードオフになるため、機器を選ぶ基準そのものが変わるからです。

現場で最も壊れやすいのがまさにこのメモリです。'アクティブパラメータが130億だからGPUGPU1枚で足りる'と計算して自社構築に入ったものの、総パラメータをすべてメモリに載せておく必要があるという壁にぶつかり、機材見積もりが何倍にも跳ね上がるケースがよくあります。MoEが減らしてくれるのは演算量であって、メモリではないという点を見落としたことが原因です。同時リクエストが集中するときも同じです。バッチに含まれるトークンがそれぞれ別の専門家を呼び出すと、結局ほとんどの専門家が起きてしまい、期待していた削減分はトラフィックが集中する時間帯から真っ先に消えてしまいます。

この用語が登場する研修 · AI・DX
おすすめ研修 · おすすめ講師 · 簡易見積もり
🧮 ミニ見積もり・講師料の基準
約120万ウォン(約14万円)特別講義 2時間 · 20名以下 · 韓国語
この条件で正式な見積もりを依頼 →
💡 かんたんに言うと
病院で症状に合った専門医だけに紹介するように、毎回一部の専門家だけを使って効率を高めます。
実務でなぜ重要なのか
'モデルは大きくし、コストは抑える'方法です。最新の大型モデルの効率を理解するための概念です。
由来と出典

専門家混合の概念は1991年にジェイコブス・ヒントンらの研究で提示され、大規模言語モデルの時代に効率的な拡張手法として再び注目されています。

出典 · ジェイコブス・ヒントンら(1991)、シャジアー(Shazeer)ら スパースゲーティング(2017)
事例で理解する

仮想の事例で見ていきましょう。役職員240名規模の損害保険の損害査定受託会社A社は、昨年から顧客問い合わせ対応に大規模言語モデルのAPIを導入しました。月間の呼び出しが380万件に増え、請求額は2,100万ウォン(約251万円)に達しました。経営陣は'来年のAI予算は今年の半分'と釘を刺し、品質を落とさずにコストだけを削るという3か月の課題が降ってきたわけです。

  1. AIプラットフォームチームのパク・チーム長が問い合わせログ3万件を分類したところ、62%が'保険金支払い基準'と'書類の再提出'の2つのタイプに集中していました。残りは裾野のように散らばっていました。
  2. パク・チーム長は、総パラメータ1,410億・アクティブパラメータ130億規模のMoEモデルへの乗り換え案を提出しました。そして、'同じ品質でトークン単価は3分の1'というベンダーの説明を、2週間にわたり実際の問い合わせ5,000件で直接検証しました。
  3. オンプレミスとの併用を検討していたインフラ担当のキム課長が、「活性パラメータが130億でも、GPUには1,410億を丸ごと載せる必要がある」と言いながらH100 8枚構成の見積書を持ってくると、チームは自社構築を取りやめ、API利用に方向転換しました。
  4. 夜間の精算問い合わせが一度に押し寄せた日、応答遅延が平常時の1.7倍に跳ね上がったため、1時間あたり3,000件ずつ流すキューを設け、単純な反復問い合わせはキャッシュに振り分けました。
  5. 3か月後、月間API費用は2,100万ウォン(約251万円)から780万ウォン(約93万円)へ下がり、相談員の一次応答時間は平均4分20秒から2分50秒に短縮されました。
関連用語
この用語に関連する研修
📚エージェントAI実務入門ナヌム経営コンサルティング 企業研修 · 対面/オンラインコースを見る →
このテーマで社内研修が必要でしょうか?
ご担当者さま向けの研修プログラム・お見積もりを、すぐにご覧いただけます。
研修のお問い合わせ
最終更新 2026-09-13 · 監修 金鍾赫

よくある質問

毎回すべて使うとコストが膨らみます。必要な専門家だけを選んで使えば、性能と効率を同時に確保できます。
通常のモデルは常に全体を使い、MoEは入力ごとに一部だけを使います。同じ性能をより安く出せます。
大きな性能を出しつつ演算コストを抑えるため、毎回一部の専門家だけを有効化するからです。
通常は毎回すべてを使いますが、MoEは'必要な専門家だけ'を使います。大きくても効率的です。