推論モデル
Reasoning Model
推論モデルとは?
- すぐに答えず「考えた上で」
- 数学・論理・コーディングに強い
- test-time compute の活用
推論モデルが実際に変えるのは性能表の数字ではなく、質問の投げ方です。即答型モデルには短く尋ね、気に入らなければ聞き直すという形で対話を続けていたとすれば、推論モデルには条件・制約・例外状況まで一度に載せ、検討そのものを丸ごと任せることになります。プロンプトは長くなり、やり取りの回数は減ります。一度に深く尋ねる方式へ業務の習慣が移っていくわけです。その代わり、回答が返るまで数秒から数分かかるため、応答速度がそのまま品質になるリアルタイムの相談窓口にそのまま組み込むと、利用者の離脱がまず起きます。
製品ごとに名前は異なりますが、ほとんどは推論の深さを低・中・高のような段階から選べます。深さを上げるとモデルが内部で生成する「推論トークン」が増えますが、このトークンもそのまま課金対象です。画面に表示される回答は10行なのに請求書には数千トークンが計上される理由がここにあります。また、画面に表示される思考過程は大抵が要約版なので、監査の根拠に使える完全な推論記録を期待すると困ります。
プロンプトに「段階的に考えてみよ」と書くことと、推論モデルを使うことは違います。前者は即答型のモデルに考える手順を真似させることであり、後者は訓練の段階から長く検討するように作られたモデルを使うことです。検索・RAGとも役割が分かれます。推論モデルは与えられた情報を検討するのには強いものの、知らない事実を見つけ出すことはできません。社内規定や最新単価は資料として一緒に入れて初めて、きちんと検討できます。
現場で最も頻繁にずれるのは、「優れたモデルなので全部こちらへ送ろう」という判断です。議事録の要約、翻訳、メールの下書きのような単純な作業は、推論モデルを使っても結果はほぼ同じなのに、応答が何倍も遅くなり費用が跳ね上がります。長く考えたのだから事実も正確だろうという思い込みも危険です。計算と論理は良くなっても、存在しない条項や出典を作り出す問題は残ります。バッチ処理に組み込んでタイムアウトを60秒に設定しておくと、難しいものほど応答の途中で切れてしまい、肝心な案件だけ結果が空になる事態が起きます。
思考の連鎖(2022)の研究の流れを受けて、2024年頃「推論により多くの演算を使う」推論特化モデルが登場し、複雑な課題の性能を引き上げました。
仮想の事例で見てみましょう。産業用バルブを製造するA社は、役職員320名、年間売上高1,800億ウォン(約2,152,621万円)規模です。海外代理店から届く見積もり依頼が月400件あるのですが、数量区間別の割引、為替、物流費が重なり、計算が誤る案件が月27件出ていました。見積書を出し直すために営業の日程が一日ずつ遅れることが繰り返されていました。
- 購買支援チームのキム課長が過去3か月の誤り27件を調べたところ、22件が「割引適用後に為替を反映」のように2段階以上の計算が絡むものでした。
- 同じ見積もり30件を既存の即答型モデルに入れたところ9件が誤り、条件をそのまま与えた推論モデルは1件だけ誤りでした。
- IT支援チームのパク・チーム長が「全部推論モデルに回したらコストが持ちません」と釘を刺し、品目3種以下・単一通貨の案件は既存モデル、多通貨・多段階割引の案件だけを推論モデルに回す振り分けルールを作りました。
- 応答が平均40秒かかり営業画面が止まったように見えたため、受付直後に待ち行列に入れ、結果が出たら通知を出す方式に変えました。
- 6週間後、計算ミスは月27件から4件に減り、見積もり1件あたりの確認時間は40分から12分になりました。API利用料は月18万ウォン(約2.2万円)から46万ウォン(約5.5万円)に増えましたが、やり直しにかかっていた営業の人件費はそれよりはるかに大きかったのです。
- 複雑な数学・論理・コーディングの問題
- 複数段階の推論が必要なとき
- 正確性が速度より重要なとき
- 単純な要約・分類などの軽い作業
- 即時応答・低コストが重要なとき
- 推論が不要な定型業務
金鍾赫
パク・スンテ