データパイプライン・ETL
Data Pipeline / Extract · Transform · Load
データパイプラインとは?
- データを集め、整形し、保存する(ETL)
- 分析に至るまでの'配管'
- 自動フローの構築
データパイプラインが敷かれると実際に変わるのは、'数字を誰が作るのか'です。それまでは、マーケティング担当者が広告プラットフォームからCSVをダウンロードし、営業支援がERPから抽出して、各自Excelで貼り合わせて突き合わせる作業を毎週繰り返しています。同じ'先月の売上'が部署ごとに違って出てくる理由もここにあります。パイプラインはこの手作業をコードで固定し、人ではなくスケジューラーが数字を作るようにします。会議の冒頭を食っていた'どの数字が正しいのか'という論争が減り、間違っていたときに直す場所が1か所に集まります。
設計で分かれるポイントは3つです。第一に、最近はETLよりELTを多く使います。クラウド型データウェアハウスの演算コストが下がり、元データをまずそのままロードしてSQLで変換するほうが、再計算や復旧に有利だからです。第二に、周期です。1日1回のバッチで十分な指標と、分単位が必要な指標を区別しないと、コストだけが膨らみます。財務・人事レポートは早朝のバッチで足り、在庫・異常取引あたりが準リアルタイムの対象です。第三に、毎回全体を再ロードするフルロードと、変わった分だけをロードする増分ロードのどちらを使うかで、処理時間が数十倍も違ってきます。
最もよくある誤解は、ツールを導入すればデータがきれいになるという考えです。パイプラインは運搬設備であって、品質保証書ではありません。営業担当者が取引先名を'(株)アイウ'と'アイウ(株)'に分けて入力すると、その2件はパイプラインを通ったあとも別の顧客として集計されます。さらに危険なのは静かな失敗です。開発チームが注文テーブルの列名を変えたことをデータ担当者が知らなければ、ロードは止まっているのにダッシュボードは昨日の数字をそのまま表示し続けます。失敗通知と件数・合計の突合(照合)を組み込まなければ、半月後の締めの時点でようやく発見されます。元データの変更を事前に通知してもらう取り決めと担当者の指定が、ツールの選定より先に来ます。
データウェアハウジングとともに発展したETL(抽出・変換・ロード)の概念から出発し、クラウドやリアルタイム処理とともに現代的なデータパイプラインへと広がりました。
架空の事例で見てみましょう。生活用品を製造し、オンラインとオフラインで販売するA社は、役職員320名、年間売上高は1,800億ウォン(約2,152,621万円)台です。自社モール、オープンマーケット4か所、ERP、CRMに販売データが散らばっており、週次販売レポート1枚の作成に担当者2名が2日間を費やしていました。さらに会議のたびに部署ごとの売上の数字が食い違い、冒頭30分を数字の検証に充てていました。
- データ分析チームのキム課長が週次レポート1枚を遡って調べたところ、Excelファイル11本と手作業による貼り付け34回が使われていました。
- 財務チーム長が「なぜ売上とマーケティングの数字は毎回3%ずつズレるのか」と尋ねたところ、返品を反映するタイミングが両者で違うことが分かり、指標定義書を一から書き直しました。
- 外部の開発会社と共同で、オープンマーケット4か所・ERP・自社モールのデータを毎朝3時に増分ロードするバッチを構築し、ロード失敗時に担当者の携帯電話へ通知が届くように組み込みました。
- 稼働2週目に、あるオープンマーケットがAPI仕様を変更してデータ取り込みが止まりましたが、アラートのおかげで当日午前中に復旧できました。その後、元データの変更は開発チームのリリース告知に含めることで合意しました。
- 6か月後、週次レポートの作成時間は2名で16時間から40分へ、部署間の売上の差は0.2%以内に縮まり、MDが月曜日の午前中に在庫発注を決められるようになりました。
ク・ジャリョン
金鍾赫