大數據
Big Data
什麼是大數據?
- 大量、快速、多樣的資料
- 比起資料本身,核心在於 '分析並提煉價值'
- 需要分析基礎建設
大數據改變的不是資料的大小,而是決策的依據。過去是在月底整理好的幾千筆樣本中,解釋「為什麼會這樣」;現在則是把全部資料累積起來,追問「接下來會發生什麼事」。因為連一位顧客的點擊順序、一台設備的振動值、一間門市各時段的結帳紀錄都會留存,所以能夠以個別單位而非平均值來判斷。過去會議上「依我的經驗」說了算的場合,如今被「依過去 14 個月的紀錄來看」所取代,這就是這項變化。
除了 3V 之外,實務上真正卡關的是後面加上的兩項:正確性(Veracity)與價值(Value)。企業資料有相當大的部分是郵件、通話錄音、圖片等非結構化資料,無法直接用於分析。儲存方式也分兩種——經過整理、預先建立結構的資料倉儲適合定期報表,原樣匯入的資料湖則適合探索式分析。處理週期也不同,批次(每日一次)與串流(以秒為單位)並存;像信用卡異常交易偵測這類晚一秒就失去意義的業務,才會走串流。並不需要即時處理所有資料。
現場最常見的失誤,是只顧囤積的資料沼澤。耗資數億韓元規模的平台建好後,把三年份的日誌全部倒進去,結果負責人換人後,沒人知道哪張資料表代表什麼意思,於是也就沒人再打開它,這種情況我常見。沒有輸入規則就收集資料所跑出的分析,會吐出看似合理的數字,但答案是錯的;若依據這些數字去調整訂貨或人力配置,損失是真實發生的。把相關當成因果也很危險——冰淇淋銷量與溺水事故同時上升,兩者並不是因果關係。最好先定下一個需要解答的問題,再把用在它身上的資料管理好,效果會好得多。
2000年代隨著資料爆炸性成長而興起的概念,以 3V(量、速度、多樣性)定義,並隨著分散式處理技術(如 Hadoop)的發展而逐步實用化。
我們以一個虛構的案例來說明。A 公司是一家生活用品製造商,全體員工 380 人,年營收規模為 KRW 240,000,000,000 (≈ US$179,632,700)。過去季節性商品的訂貨都仰賴業務本部的經驗直覺,因此每年報廢庫存高達 KRW 900,000,000 (≈ US$673,600),反觀熱銷品項則每逢旺季就反覆缺貨。經營團隊說 '用資料試試看吧',遂啟動一項為期 8 個月的需求預測專案。
- 物流主管調出 3 年的出貨資料後發現,1,200 個 SKU 中前 80 個占了營收的 62%,而報廢品有一半來自後 400 個品項。
- 資料負責課長將 ERP 銷售實績加上氣溫、入口網站搜尋量與促銷日程後發現,除濕產品的需求,對搜尋量的反應比對氣溫早 2 週。
- 銷售本部長以「還是有現場的直覺」為由提出反對,最後雙方同意在 3 個月內,針對 40 個品項,將預測值與銷售端的訂單預估值並列比較誤差。
- 比較結果顯示,預測模型的誤差比業務端的訂貨平均低 11 個百分點,本部長表示 '這點我認可',從秋季訂貨起便開始以預測值作為基準線。
- 過程中發現經銷商的退貨原因代碼因負責人而各自填寫,於是將 12 種代碼整併為 5 種並改為必填欄位,準確度又提升了一次。
- 8 個月後,報廢庫存從每年 KRW 900,000,000 (≈ US$673,600) 降至 KRW 530,000,000 (≈ US$396,700),因缺貨而錯失的銷售件數也從每月 40 件上下降至 12 件。
Ja-ryong Gu
金鍾赫