資料倉儲・資料湖
Data Warehouse / Data Lake
什麼是資料倉儲?
- 倉儲 = 整理好的分析用倉庫
- 資料湖=原封不動存放的湖泊
- 依用途選擇
其實選擇儲存方式,就是在決定何時要整理數據。倉儲必須先把表格結構對齊才能放入,湖泊則是先整個倒進去,取用時再解讀。所以現場人員說「請再幫我看這個指標」時,反應速度就分出高下。倉儲要修改模型再重新載入,需要 2 到 3 週,但數字不會搖擺;湖泊今天就能打開查看,但每次都得重新追問:這個數字由誰來擔保?
區分兩者的實務標準有三項。第一是形態:訂單、會計這類列與欄都已定好的資料適合資料倉儲(Data Warehouse),應用程式日誌、諮詢錄音逐字稿、圖片這類格式各異的資料則適合資料湖(Data Lake)。第二是成本:只堆放原始資料的物件儲存,與連分析引擎都包含在內的資料倉儲,每 1TB 的保存單價在數量級上就不同。第三是順序:先清理再載入(ETL),還是先載入再清理(ELT)。湖倉一體(Lakehouse)是在資料湖的儲存方式之上疊加表格格式與交易機制,縮小這道界線的架構;而資料集市(Data Mart)是從資料倉儲中為特定部門切出的子集,因此不是另一個獨立的選項。
現場最常出問題的地方,就是「先全部存起來,總有一天會用到」這種想法。若沒有目錄、也沒有負責人就累積三年,800 張資料表中的欄位將再也沒有人能說明含意,資料湖就會變成沒人用得了的沼澤。反過來的誤解也很常見:因為已經建了資料湖,就說不需要資料倉儲,直接把經營儀表板接到原始資料上,結果高階主管每次查詢都要掃描數 TB 的資料,雲端帳單就按月暴增。載入之前需要先決定的,不是工具,而是這份資料的負責人是誰。
| 比較 | 資料倉儲 | 資料湖 |
|---|---|---|
| 儲存形式 | 經過整理、結構化的資料 | 原始形式(含非結構化) |
| 用途 | 即時分析・報表 | 先存進去,之後再運用 |
| 比喻 | 整理好的倉庫 | 各式原料的湖泊 |
資料倉儲由 1990 年代的比爾・恩門(Bill Inmon)等人確立;資料湖則是在大數據時代(約 2010 年)為了連非結構化的原始資料也能存放而出現的。
先看一個假設案例。全體員工 410 名、年營收 KRW 210,000,000,000 (≈ US$157,178,600) 規模的生活用品流通商 A 公司,訂單與會員資料雖然都好好存放在倉儲,但應用程式紀錄與諮詢錄音逐字稿卻擱置在檔案伺服器上。行銷部門要求的流失預測模型,因「沒有可供學習的原始資料」而兩度作罷,每新增一個指標平均要花 18 天。
- 資料平台組的金組長,把分散各處、三個月份的應用程式紀錄共 4.2TB 原封不動地存進物件儲存空間,並附上只記錄載入時間、來源與負責人三項的目錄。
- 財務長(CFO)問「儲存成本會增加多少?」時,Kim 主管把架構改為原始資料放湖、只把整理過的資料放倉儲,讓倉儲的載入量減為原本的三分之一。
- 行銷分析負責人 Lee 課長把訂單紀錄接到湖的日誌上,用來訓練流失預測模型,但驗證標籤只能從倉儲的確定營收表取得,並以此作為固定標準。
- 現場需求湧入後,我們為每張資料表指定資料負責人:訂單由營業管理組、紀錄由開發組負責定義。沒有負責人的資料表不列入目錄成為了原則。
- 六個月後,新增指標所需時間從18 天縮短為 4 天;流失預測模型則能在三個月內,提前篩出 61% 的解約客戶,目前已用於選定再購優惠券的發送對象。
Ja-ryong Gu
金鍾赫