LLMOps
Large Language Model Operations
LLMOpsとは?
- LLMサービスの運用管理体系(MLOpsのLLM版)
- プロンプトのバージョン管理・評価セット・コストモニタリングが軸
- 出発点はツールではなく評価セットの構築
LLMOpsが実際に変えるのはデプロイの基準です。通常のソフトウェアはテストに通れば出しますが、LLMサービスは同じ質問でも出力が毎回変わるため、合否ではなくスコアで判定する必要があります。そのため、リリースゲートが'ビルドの成功'から'評価セットのスコアが前バージョンを下回らないこと'へ移り、構成管理の対象もプロンプト・検索設定・モデルバージョンの組み合わせへ広がります。コードは同じなのにサービス品質だけが変わる状況を扱う仕事だからです。
評価は1つの塊にせず、3つの層に積み重ねるのが現実的です。JSONの形式遵守や禁止語句のように機械で判定できる項目は全数検査で、トーンや根拠の引用の有無のように判断が分かれる項目はLLMによる採点で、最終的な品質は人が抜き取りで確認します。下へ行くほど正確ですが、その分コストも高くなるからです。評価セットは最初から大きくする必要はなく、実際にクレームになった失敗事例50〜100件あれば回帰テストとして十分に機能します。出力が毎回変わるため、同じ入力を3〜5回繰り返し実行して平均とばらつきを一緒に見れば、一度の偶然を実力と取り違えずに済みます。
コストと遅延も、プロンプト管理と同じ列に並べて考えるべきものです。トークン単価の交渉よりも呼び出しの構造が支出を左右するため、問い合わせの種類ごとに小型・大型モデルを振り分けるルーティングと、繰り返される質問のキャッシュだけで、支出が半分以下に下がるケースが少なくありません。遅延は全体の応答時間よりも最初の一文字が出るまでの時間が体感品質を左右するため、ストリーミングの有無と検索段階の遅延を別々に計測しないと、ボトルネックは見えません。
現場で最も多いズレは、評価セットがないままツールを先に導入する順序です。ダッシュボードにトークン使用量や遅延はきれいに表示されるのに、「回答が合っていたか」は誰も確認できないため、モデル提供会社がバージョンを上げた日に品質が崩れても、顧客からクレームが届いて初めて気づきます。LLM採点器を過信することも危険です。採点基準そのものを人が定期的に検証しなければ、言葉は立派でも実は間違っている回答に高い点が付くことがあります。ガードレールをプロンプト末尾の「個人情報は話さないでください」という1行で代用する慣行も同じで、システムプロンプトは要請であって遮断装置ではないため、出力側のフィルターや担当者への引き継ぎルールを別途設けなければ、事故がそのまま顧客に届きます。
機械学習モデルの運用体系であるMLOps(DevOpsの機械学習への拡張)から派生した言葉で、2022年末のChatGPT登場以降、LLMアプリケーションが急増したことで、プロンプト管理・評価・コスト最適化という固有の課題を扱う独立した領域に分かれました。
仮想の事例で見てみましょう。従業員240名規模の事務家具流通会社A社は、月6,000件の顧客問い合わせをCS担当9名で処理していましたが、昨年10月にLLMによる自動応答チャットボットを開設しました。デモの時は回答が滑らかでしたが、3か月で「注文した内容と違う案内を受けた」というクレームが週12件まで増えました。しかも、プロンプトを誰がいつ修正したのか、記録が残っていませんでした。
- CSチームのキム次長が、直近3か月の相談ログから誤答でクレームが出た問い合わせ80件を抜き出し、模範回答を付けたことが、A社の最初の評価セットになりました。
- 開発チームは散らばっていたプロンプトをGitリポジトリに移し、修正依頼のたびに80件の自動採点を回して、直前のバージョンより点数が低ければ反映を止めるルールを設けました。
- 2週間後にモデル提供会社がバージョンを上げたところ、配送照会の回答正答率が91%から74%に下がりました。自動採点が先に検知して当日ロールバックしたため、キム次長は「お客様が先に気づいていたら大変なことになっていた」と話しました。
- 運用担当のパク課長が呼び出しログを確認したところ、単純な配送・在庫の問い合わせが全体の62%を占めていたため、この区間だけを小型モデルに振り分けました。その結果、月間のAPI費用が420万ウォン(約50万円)から180万ウォン(約22万円)に下がりました。
- 返金額の計算や個人情報の確認に関する質問は、回答せずに相談員へ引き継ぐようにし、👎を受けた応答は毎週金曜日の30分レビューで評価セットに追加する方式で積み上げました。
- 3か月後、評価セットは240件に増え、自動応答の解決率は46%から68%へ、誤答クレームは週12件から3件に減りました。CSチームは返品処理に人員2名を振り向けられるようになりました。
キム・ソンイル
イム・アラ