MLOps
Machine Learning Operations
MLOpsとは?
- MLモデルの開発・デプロイ・運用体制
- AI版DevOps
- ドリフト検知・再学習
MLOpsが導入されると、組織で変わるのはモデルの精度ではなく、「誰が何をいつ変えたのかを追跡できるようになる」という点です。MLOps以前のAIプロジェクトは担当者のノートブックの中だけで動いています。その人が休職すると、先月よく機能していたモデルを誰も再現できません。MLOpsは、データスナップショット、ハイパーパラメータ、学習コード、結果指標を一つにまとめて残し、実験を資産に変えます。性能競争から信頼性競争へと重心が移っていくのです。
実務では成熟度を段階で見ます。人が手作業で学習し、手作業でデプロイする0段階、学習パイプラインが自動で回る1段階、コードの変更が自動検証とデプロイまでつながる2段階です。国内企業の多くは0段階と1段階の間にあります。DevOpsとの決定的な違いは管理対象です。一般的なソフトウェアはコードだけバージョン管理すればよいのに対し、機械学習はコード・データ・モデルの3つの軸が同時に動きます。ドリフトも2つに分かれます。入力データの分布が変わるデータドリフトと、入力は同じなのに正解の意味が変わるコンセプトドリフトです。後者のほうがはるかに発見が遅れます。
よくある誤解は、プラットフォームを導入すればMLOpsになるという考えです。ツールより先に決めるべきことは、「何を性能低下とみなすか」と「誰が再学習を承認するか」です。モニタリングをサーバーのCPUと応答速度だけに設定しているケースも多いのですが、インフラは正常なのに予測だけが外れている状況は、そのダッシュボードには決して検知されません。正解ラベルが2か月後に確定する業務であれば、その間も誤った予測に基づいて発注や審査が続いてしまいます。逆に、再学習を無条件に自動化すると、さらに危険です。モデルが誤って生成した結果が再び学習データに入ると、誤差が自己増幅し、いつの時点から壊れていたのかを振り返ることさえできなくなります。
ソフトウェアのDevOpsを機械学習に適用した概念で、AIの実用化の広がりとともに確立されました。
仮想の事例で見てみましょう。オンライン食品流通を行うA社は、役職員900名、年間売上高2,400億ウォン(約2,870,161万円)規模の企業です。2年前に需要予測モデルを導入し、初期の予測誤差率(MAPE)8%を記録しましたが、1年半が過ぎると生鮮食品の廃棄率が再び上がり始めました。現場では「モデルを使おうが使うまいが同じだ」という声が出ていた状況でした。
- データ分析チームのキム・チーム長が過去12か月の予測ログをすべて抽出し直したところ、MAPEが8%から19%に上昇していました。原因をたどると、モデルは依然として2022年の消費パターンを学習したままでした。
- 再学習しようとしたところ、学習コードは担当者3名のノートPCに散らばった47ファイルでした。キム・チーム長は「昨年のあのモデルを今そのまま再現できる人はいますか」と尋ねましたが、誰も手を挙げられませんでした。
- 実験追跡ツールを導入し、データのスナップショット・パラメータ・評価指標を自動記録するようにしたうえ、手作業で3日かかっていたデプロイをパイプラインにまとめて2時間に短縮しました。インフラ担当のパク課長は、承認ボタンの一段階だけは意図的に残しました。
- モニタリングは、サーバー指標の代わりに週次のMAPEと主要入力特徴量の分布変化を見る形に変えました。しきい値を超えると購買チーム・分析チーム共用のチャンネルに通知が届き、24時間以内に原因を記載して返信するルールを設けました。
- 再学習は自動で回しつつ、デプロイはチャンピオン・チャレンジャー比較を通過したモデルだけを昇格させました。実際、プロモーション用データが混ざって逆に性能が落ちたチャレンジャーモデル2件が、この段階で除外されました。
- 6か月後、MAPEは9%台に回復し、生鮮食品の廃棄率は月4.1%から2.6%に下がりました。性能異常に気づくまでの期間も、平均3週間から1日以内に短縮されました。
パク・ヘラン
ク・ジャリョン