資料管線 · ETL
Data Pipeline / Extract · Transform · Load
什麼是資料管線?
- 收集、清理並儲存資料(ETL)
- 分析前的'資料管線'
- 建置自動化流程
導入資料管線後,真正改變的是「由誰產出數字」。在那之前,行銷人員每週都要從廣告平台下載 CSV,業務支援從 ERP 匯出資料,再各自在 Excel 裡拼湊對齊。同樣是「上個月營收」,各部門卻數字不同,原因就在這裡。管線把這些人工作業固定為程式,由排程器而非人來產出數字。過去佔據會議前段的「哪個數字才對」之爭會減少,而出錯時要修正的地方會集中到一處。
設計上的分歧點有三個。第一,現在比起 ETL 更常用 ELT。隨著雲端資料倉儲的運算成本下降,先把原始資料原封不動載入,再以 SQL 轉換,在重新計算與復原時更為有利。第二是更新週期。若不區分每日一次批次即可的指標與需要以分鐘為單位的指標,只會讓成本暴增。財務、人事報表用凌晨批次即可,庫存與異常交易才是準即時的對象。第三,每次整批重新載入的全量載入,與只載入異動部分的增量載入,處理時間可能相差數十倍。
最常見的誤解,是以為導入工具資料就會變乾淨。資料管線是運送設備,不是品質保證書。業務員若把客戶名稱分別輸入為 '甲乙丙股份有限公司' 與 '甲乙丙 股份有限公司',即使經過管線,這兩筆仍會被統計為不同客戶。更危險的是無聲的失敗。若開發團隊更改了訂單資料表的欄位名稱,而資料負責人並不知情,載入雖然停止,儀表板仍會顯示昨天的數字。若沒有加上失敗通知以及筆數、金額的對帳,要等到半個月後的結帳才會發現。事先接獲來源變更通知的約定與負責人指定,應該比工具選擇更優先。
從與資料倉儲一同發展的 ETL(擷取、轉換、載入)概念出發,隨著雲端與即時處理的發展,演變為現代的資料管線。
以下以假設案例說明。A 公司製造生活用品,透過線上與線下銷售,全體員工 320 人,年營收約 KRW 180,000,000,000 (≈ US$134,724,500) 上下。銷售資料分散在自家商城、4 個電商平台、ERP 與 CRM,每週製作一份銷售週報就要兩名負責人花上兩天。此外,每次開會各部門的銷售數字都對不上,會議前 30 分鐘都花在 數字核對上。
- 資料分析組的金課長回頭追查一份週報的來源,發現其中包含 11 個 Excel 檔案,以及 手動貼上 34 次。
- 財務組長問起"我們的營收和行銷數字為什麼總是差 3%?",才發現退貨的計入時點各不相同,於是從指標定義書開始重新撰寫。
- 與外部開發商合作,建立每天凌晨 3 點對 4 個電商平台、ERP 與自家商城進行增量載入的批次作業,並加上載入失敗時通知負責人手機的機制。
- 上線第 2 週,某電商平台變更了 API 規格,導致資料載入中斷,幸好有警示通知,當天上午即恢復。之後雙方達成共識,來源端的變更一律納入開發團隊的部署公告。
- 六個月後,週報製作時間從兩人 16 小時縮短為 40 分鐘,部門間的銷售差異降到 0.2% 以內,MD 們也得以在週一上午決定庫存採購。
Ja-ryong Gu
金鍾赫