MLOps
Machine Learning Operations
什麼是 MLOps?
- ML 模型的開發、部署與營運體系
- AI 版 DevOps
- 漂移偵測・重新訓練
MLOps導入後,組織裡真正改變的不是模型的準確度,而是「誰在什麼時候改了什麼,變得可以追蹤」這件事。導入 MLOps 之前,AI 專案只在負責人的筆電裡運作。那個人一旦請假,就沒有人能重現上個月表現很好的模型。MLOps 會把資料快照、超參數、訓練程式碼、結果指標打包保存下來,把實驗變成資產。重心會從效能競爭轉向可靠度競爭。
實務上會以成熟度的階段來看。第 0 階段是人工訓練、人工部署;第 1 階段是訓練流水線自動運作;第 2 階段是程式碼變更經自動驗證後,一路自動部署。多數韓國企業位於第 0 與第 1 階段之間。與DevOps的關鍵差異在於管理對象。一般軟體只需對程式碼做版本管理,但機器學習的程式碼、資料與模型三個面向會同時變動。漂移也分為兩種:輸入資料分布改變的資料漂移,以及輸入不變、但正確答案的意義改變的概念漂移。後者通常發現得晚得多。
最常見的誤解是以為裝了平台就等於做了 MLOps。比工具更該先決定的,是 '什麼算是效能下降'與'由誰批准重新訓練'。很多人只替伺服器的 CPU 與回應速度設定監控,但基礎架構正常、預測卻持續出錯的情況,那個儀表板絕對抓不到。若業務的正確標籤要兩個月後才確定,這段期間錯誤的預測就會持續影響採購與審核。反過來,若無條件把重新訓練自動化,風險反而更大。模型錯誤產生的結果會回流成訓練資料,誤差因此自我放大,之後連「從哪個時點開始出錯」都無從追溯。
將軟體領域的 DevOps 概念應用於機器學習,隨著 AI 商用化擴散而確立。
我們以假設案例來說明。經營線上食品流通的 A 公司,全體員工 900 人,年營收規模為 KRW 240,000,000,000 (≈ US$179,632,700)。兩年前導入需求預測模型,初期預測誤差率(MAPE)為 8%,但過了一年半,生鮮食品的報廢率又開始回升。當時一線業務已經出現 "模型用不用都一樣" 的說法。
- 資料分析團隊的金主管重新調出過去 12 個月的所有預測紀錄,發現 MAPE 已從 8% 攀升至 19%。順著原因追查,模型仍停留在學習 2022 年消費模式的狀態。
- 重新訓練時才發現,學習程式碼散落在三位負責人的筆電裡,共 47 個檔案。金主管問:"去年那個模型,現在能原封不動重現的人有嗎?"結果沒有人舉手。
- 導入實驗追蹤工具,讓資料快照、參數與評估指標自動留存紀錄;原本手動要花 3 天的部署,改用流水線串接後縮短為 2 小時。基礎架構負責人朴課長刻意保留了「核准」按鈕這一步。
- 監控方式改為不再只看伺服器指標,而是追蹤每週 MAPE 與主要輸入特徵的分布變化。一旦超過門檻,就會通知採購團隊與分析團隊共用的頻道,並訂下規則:必須在 24 小時內寫下原因回覆。
- 重新訓練雖然自動執行,但只有通過冠軍模型與挑戰者模型的比較(Champion-Challenger)的模型才會晉升上線。實際上,有兩個因混入促銷資料而效能反而下降的挑戰者模型,就是在這個階段被擋下的。
- 6 個月後 MAPE 回升至 9% 上下,生鮮食品的報廢率也從 月均 4.1% 降至 2.6%。察覺效能異常所需的時間,也從平均 3 週縮短到一天之內。
Hye-rang Park
Ja-ryong Gu