データウェアハウス・レイク
Data Warehouse / Data Lake
データウェアハウスとは?
- ウェアハウス=整理された分析用の倉庫
- レイク=原本をそのまま蓄える湖
- 目的に応じて選択
ストレージを選ぶことは、実はデータをいつ整理するかを決めることです。ウェアハウスは入れる前に表の構造を合わせる必要があり、レイクはとりあえず流し込み、取り出すときに解釈します。だから現場が「この指標をもう一つだけ見てください」と言ったときの反応速度が分かれます。ウェアハウスはモデルを直して再格納するのに2〜3週間かかる代わりに数字が揺らぎませんが、レイクは今日すぐ開けるものの、その数字を誰が保証するのかを毎回問い直すことになります。
両者を分ける実務上の基準は3つです。1つ目は形式です。注文・会計のように行と列が決まったデータはウェアハウス、アプリのログ・相談の録音・画像のようにバラバラなデータはレイクに向いています。2つ目はコストです。原本を積んでおくだけのオブジェクトストレージと、分析エンジンまで含むウェアハウスでは、1TBあたりの保管単価の桁そのものが違います。3つ目は順序です。整えてから格納(ETL)するか、格納してから整える(ELT)かです。レイクハウスは、レイクの保存方式の上に表形式とトランザクションを載せて、この境界を狭めた構造です。データマートはウェアハウスから特定部署向けに切り出した部分集合なので、別の選択肢ではありません。
現場で最も崩れやすいのは、「とりあえず全部蓄えておけば、いつか使える」という思い込みです。カタログも担当者もないまま3年分を積み上げると、テーブル800個のうちカラムの意味を説明できる人が誰も残らず、レイクは誰も使えない沼になります。逆の誤解も多いです。レイクを敷いたのでウェアハウスは要らないと考え、経営ダッシュボードを原本に直接つないだところ、役員が照会するたびに数TBをスキャンし、クラウドの請求額が月単位で跳ね上がる事態が起きます。取り込む前に決めるべきことはツールではなく、このデータの持ち主は誰かです。
| 区分 | データウェアハウス | データレイク |
|---|---|---|
| 保存形態 | 整理・構造化されたデータ | 原本のまま(非定型データを含む) |
| 用途 | すぐ分析・レポート | まず溜めて、後で活用 |
| たとえ | 整理された倉庫 | さまざまな原料の湖 |
データウェアハウスは1990年代にビル・インモンらが体系化し、データレイクはビッグデータの時代(2010年頃)に非定型の原本まで蓄えるために登場しました。
仮想の事例で見てみましょう。役職員410名、年商2,100億ウォン(約2,511,391万円)規模の生活用品流通会社A社は、注文・会員データはウェアハウスにきちんと蓄えている一方で、アプリのログと相談の録音はファイルサーバーに放置していました。マーケティングチームが依頼した離脱予測モデルは、'学習させる原本がない'という理由で2回頓挫し、新規指標を1つ追加するのに平均18日かかっていました。
- データプラットフォームチームのキム・チーム長は、散らばっていた3か月分のアプリログ4.2TBをオブジェクトストレージにそのまま移し、格納時点・ソース・担当者の3項目だけを記したカタログを添えました。
- CFOが'ストレージのコストがどれだけ増えるのか'と尋ねると、キム・チーム長は原本はレイクに、整えた版だけをウェアハウスに載せる構造に変え、ウェアハウスへの格納量を従来の3分の1に減らしました。
- マーケティング分析担当のイ課長は、レイクのログに注文履歴を結び付けて離脱予測モデルを学習させる一方、検証用のラベルはウェアハウスの確定売上テーブルからのみ取得するよう基準を固定しました。
- 現場の依頼が集中したため、テーブルごとにデータオーナーを指定し、注文は営業管理チーム、ログは開発チームが定義に責任を持つようにしました。持ち主のいないテーブルはカタログに載せないが原則になりました。
- 6か月後、新規指標の追加にかかる期間は18日から4日に短縮されました。離脱予測モデルは、3か月以内に解約した顧客の61%を事前に絞り込み、再購入クーポンの配信対象の選定に使われています。
ク・ジャリョン
金鍾赫