学習 · 推論
Training / Inference
学習とは?
- 学習=モデルを教える段階
- 推論=学習済みモデルを使う段階
- コストの性格が異なる
学習と推論を分けて見た瞬間、AI予算の性格が分かれます。学習は一度に大きな金額がかかり、終われば終わる設備投資に近いものです。推論は社員が質問を投げるたびに計量器が回る電気料金に近いものです。そのため「このAI、いくらですか」という質問は、実は二つの質問です。作るためにかかる費用と、使っている間にかかる費用を分けて計算しなければ、導入の稟議は無事に通ったのに、翌年の運用費が予算を超えるということが起こります。学習は終われば費用が止まりますが、推論はサービスが動いている限り止まりません。多くの企業は学習を直接行わず、推論だけを購入します — ここで検討の焦点が完全に変わります。
学習の中にも層があります。数兆単位のトークンを読み込ませてモデル自体を作る事前学習はビッグテックの領域で、企業が手を入れられる範囲は、数百~数千件の例で話し方や出力形式を整えるファインチューニング程度です。一方、社内規程集や単価表のように頻繁に変わる知識は、学習ではなく質問時に該当文書を探して添える方式(RAG)が適しています。推論はトークン単位で課金され、入力より出力の単価が数倍高い構造のため、回答を600字に制限するか2,000字まで書かせるかで、年間の請求額が倍も変わります。
現場で最もよくずれるのは「自社データを学習させれば、すべて勝手にわかる」という期待です。ファインチューニングしたモデルは話し方こそ自社のものになりますが、先月変わった単価表は知らず、知らないまま古い数字を自信満々に話します。その回答が見積書にそのまま入って顧客に出ると事故になります。もう一つはパイロットの費用をそのまま全社の費用に掛けてしまう思い違いです。10人が使っていたツールを300人に開くと、利用者数だけでなく、1人あたりの質問数と付随する文書の長さも同時に増えるため、費用は単純な倍率をはるかに超えます。推論費用は使った分だけ積み上がるという前提で、拡大計画を立てる必要があります。
機械学習の基本的な区分で、大型モデルの時代には「学習(一度に必要な巨額の費用)」と「推論(使うたびに発生する費用)」の経済性が特に重要になりました。
仮想の事例で見てみましょう。役職員320名、年間売上高約850億ウォン(約1,016,515万円)の産業用バルブ製造会社A社の話です。海外代理店から入る技術問い合わせは1日40〜60件あり、一次回答まで平均4.2時間かかってクレームが溜まっていました。経営陣は「マニュアルをAIに学習させよう」と指示し、情報戦略チームは6か月の日程で検討に入りました。
- 情報戦略チームのキム次長が、英文マニュアル1万2千ページをすべて学習させる案を持ってきましたが、外部見積もりが3か月で1億2千万ウォンと出たため、会議はその場で止まりました。
- コンサルタントが変わる知識と変わらない話し方を分けて考えることを提案しました。マニュアルは検索して付け加える方式にし、ファインチューニングは過去の相談回答800件だけを使って、回答の形式だけを整えることにしました。
- 相談員12名で3週間のパイロットを回したところ、月の推論費用は18万ウォン(約2.2万円)、回答の下書き作成時間は1件あたり22分から7分に減りました。チーム長は「この価格なら全社で開こう」と言いました。
- 財務チームのイ課長が140人基準で再計算したところ、月210万ウォン(約25万円)となりました。回答の長さを600字に制限し、繰り返しの質問をキャッシュすることで月90万ウォン(約11万円)台まで下げてから、拡大を承認しました。
- 6か月後、一次回答までの時間は4.2時間から40分に短縮されました。ファインチューニングは320万ウォン(約38万円)の一回きりで終わり、月間の推論費用は94万ウォン(約11万円)で推移しています。単価表が変わっても、文書を差し替えるだけで済みます。
金鍾赫
イム・アラ