LLMOps
Large Language Model Operations
什麼是 LLMOps?
- LLM 服務的營運管理體系(MLOps 的 LLM 版)
- 提示詞版本管理・評估資料集・成本監控這三大軸
- 起點不是工具,而是建立評估資料集
LLMOps 實際改變的是部署標準。一般軟體測試通過就能上線,但 LLM 服務即使是同樣的問題,每次輸出都可能不同,因此必須以分數判定,而非通過或失敗。於是發布關卡從「建置成功」轉為「評估集分數不低於前一版」,版本管理的對象也擴大到提示詞、檢索設定與模型版本的組合。因為這是要處理程式碼不變、服務品質卻改變的情況。
評估不宜做成一大塊,較務實的做法是分成三層。像 JSON 格式是否合規、禁用詞等機器可以判定的項目,全數檢查;語氣或是否引用依據等模糊的項目,交由 LLM 評分;最終品質則由人工抽樣檢視。越往下越精準,但成本也越高。評估集一開始不必很大,只要收集實際引發客訴的 50 至 100 個失敗案例,就足以作為回歸測試。由於輸出具有不確定性,應將同一輸入重複執行 3 至 5 次,同時檢視平均值與離散程度,才不會把一次的僥倖誤當成實力。
成本與延遲也和提示詞管理一樣,屬於同一條管理線。比起 Token 單價的議價,呼叫結構更能左右支出,因此依問題類型把請求分派給小型或大型模型的路由,再加上對重複問題做快取,就常能讓支出降到一半以下。延遲方面,比起整體回應時間,從第一個字出現為止的時間更能決定體感品質,所以要分開計量串流是否啟用與檢索階段的延遲,瓶頸才看得出來。
現場最常見的錯置,是沒有評估集就先導入工具。儀表板上 Token 用量與延遲圖表漂亮地顯示,卻沒人看得到「答案是否正確」,因此模型供應商升級版本當天品質崩壞,也要等到客訴湧入才會發現。盲目信任 LLM 評分器也很危險:若評分標準本身沒有定期由人工驗證,那些說得頭頭是道、實際上錯誤的回答反而會拿到高分。以提示詞結尾一句「請勿談論個人資訊」取代護欄的做法同樣如此,系統提示詞只是請求,並非阻擋機制,若不另外設置輸出端過濾與客服轉接規則,事故就會原封不動地送到客戶面前。
源自機器學習模型營運體系 MLOps(DevOps 的機器學習延伸)的用語。2022 年底 ChatGPT 問世後 LLM 應用程式激增,因而分化出專門處理提示詞管理、評估與成本最佳化等獨特課題的獨立領域。
以下以假設案例說明。員工 240 人規模的辦公家具經銷商 A 公司,過去每月 6,000 筆客戶諮詢由 9 位客服團隊成員處理,去年 10 月開通了 LLM 自動回覆聊天機器人。展示時回答很流暢,但不到三個月,「收到的說明與訂購內容不同」的客訴就增加到每週 12 件。然而,提示詞是誰、何時修改的,卻沒有任何紀錄。
- 客服團隊的金次長從近三個月的諮詢紀錄中,挑出曾因錯誤回答而引發客訴的 80 則詢問,並附上標準答覆,這就成了 A 公司的第一套評估資料集。
- 開發團隊把原本散落各處的提示詞移到 Git 儲存庫,每次修改請求都會自動跑 80 筆評分,並設下一套規則:分數若低於前一版本就阻擋上線。
- 兩週後模型供應商升級版本,配送查詢回答的 準確率從 91% 降到 74%,自動評分先行攔截,當天就回復舊版。金次長表示:「要是客戶先發現,那可就糟了。」
- 營運負責人朴課長檢視呼叫紀錄後發現,單純的配送、庫存查詢佔全體 62%,於是只把這段流量路由至小型模型,每月 API 費用從 KRW 4,200,000 (≈ US$3,140) 降到 KRW 1,800,000 (≈ US$1,350)。
- 退款金額計算與個資確認等問題不由 AI 回答,改為轉接真人客服;收到 👎 的回覆,則在每週五 30 分鐘的檢視會議中加入評估資料集,逐步累積。
- 三個月後評估資料集增至 240 筆,自動回覆解決率由 46% 提升至 68%,錯誤回答客訴由每週 12 件降至 3 件,客服團隊因此將 2 名人力調派到退貨處理。
Sung-il Kim
Ara Im