AI 編排
AI Orchestration
什麼是 AI 編排?
- 以流程協調多個 AI、工具與資料
- 依每個步驟配置合適的 AI
- 實務自動化的骨架
導入 AI 編排後,AI 導入的單位會改變。過去的煩惱是'該用什麼提示詞',現在則變成'這項業務要拆成幾個步驟,每個步驟該交給誰'。AI 的使用單位從提問轉向業務流程。主導權也隨之轉移。這已不是個人會不會寫提示詞的問題,而是熟悉業務流程的現場人員必須坐上設計桌的問題。
協調方式大致分為兩種。路徑固定的管線型,像'搜尋→摘要→製作表格→發送'這樣順序已定,結果可預測,稽核也容易。代理型則由 LLM 看情況自行選擇下一個工具,彈性較高,但即使輸入相同也可能走不同路徑,因此難以驗證。實務上較可行的組合,是大部分固定為管線,只把需要判斷的一兩個步驟交給代理。模型配置也依同樣原理:分類、擷取等簡單步驟改用小型語言模型(sLM)以降低成本與延遲,只在最終成文這類品質肉眼可見的步驟,才配置大型模型。
也需與 RPA 或既有工作流程的 自動化 加以區分。RPA 是依既定畫面與規則重複點擊的方式;編排則在流程中間放入解讀非結構化輸入的步驟,這一點不同。RAG 或 微調 是提升單一步驟效能的技術,而編排是設計這些步驟以何種順序串接,以及失敗時該退回何處。
最常見的誤解,是以為只要裝好工具,流程就會自己運轉。即使每個步驟的準確率有 90%,串接五個步驟後,整體成功率就會降到 59%;前一步誤讀的數字,會在後面的步驟被包裝成通順的句子,直接送到客戶手上。錯誤並不會消失,而是悄悄地累積起來。若沒有保留每個步驟的輸入輸出紀錄,就算在簽核前一刻發現數字錯誤,也找不出是哪個步驟造成的,只能從頭重跑。先在流程中預先設定好由人員確認、並在此停止的關卡,比提高自動化比率更應該優先處理。
這是為了結合多個 AI 與工具、自動化複雜工作而興起的概念,隨著代理與工作流程工具的發展,正逐漸確立其定義。
以下以虛構案例說明。假設是一家擁有 240 名員工的工業零件經銷商 A 公司。客戶透過電子郵件寄來的報價詢問,平均每天 180 件,客服團隊 4 人需逐一開啟附件、查找料號、查詢 ERP 庫存後,才製作報價單寄出。平均回覆需時 6 小時,旺季時約每三件就有一件延到隔天才處理完成。
- 客服組長親自將三週內的 420 封來信分類,製作出'品號明確的案件 68%、僅有圖面或照片的案件 22%,其餘需要諮詢'的表格,這個比例成為流程設計的起點。
- 第一步讓小型模型把郵件分成三類,料號擷取與 ERP 庫存查詢則固定由規則式工具處理。資訊系統組的課長以'判斷降到最少,查詢一律確定化'劃下界線。
- 僅收到圖面或照片的案件,由大型模型推估規格;若可信度偏低,則停止自動發送,轉入負責人審核匣。初期兩週內轉入審核匣的比例為 31%。
- 第一個月就有 7 份報價單未反映單價表的修訂內容便被寄出,業務本部長指出'數字算錯不是自動化,是事故',於是在單價查詢步驟加上修訂日期驗證與各步驟紀錄。
- 三個月後,平均回覆時間由 6 小時縮短為 40 分鐘,自動發送比率達到 61%。客服團隊 4 人中有 2 人轉任大量接單諮詢業務。
金鍾赫
朴雪英