ビッグデータ
Big Data
ビッグデータとは?
- 大きく、速く、多様なデータ
- それ自体より'分析して価値を引き出すこと'が核心
- 分析基盤の整備が必要
ビッグデータが変えるのはデータの大きさではなく、意思決定の基準です。以前は月末にまとめられた数千件の標本をもとに'なぜそうなったのか'を説明していましたが、今は全数データを蓄積して'次に何が起こるのか'を問います。顧客一人のクリック順序、設備一台の振動値、店舗一店舗の時間帯別決済まで残るため、平均ではなく個別単位で判断できるようになったのです。会議で'私の経験上'が通用していた場面を、'過去14か月のログ上'が置き換える変化です。
3Vの外で実務のボトルネックになるのは、後ろに付いた2つ、正確性(Veracity)と価値(Value)です。企業データの多くはメール・通話録音・画像などの非定型データなので、そのままでは分析できません。保存方法も分かれます。整形してスキーマを固定しておくシステムはデータウェアハウスで定期レポートに、元データをそのまま流し込むデータレイクは探索的な分析に向いています。処理の周期もバッチ(1日1回)とストリーミング(秒単位)で異なり、カード不正取引の検知のように1秒遅れると意味がない業務だけがストリーミングに回されます。すべてのデータをリアルタイムで扱う必要はありません。
現場で最も多い失敗は、ためるだけのデータ沼です。数億ウォンのプラットフォームを導入して3年分のログを流し込んだものの、担当者が替わるうちにどのテーブルが何を意味するのか分かる人がいなくなり、誰も開かなくなるケースをよく見かけます。入力ルールのないまま集めたデータで回した分析は、もっともらしい数字を出しますが答えは誤っており、その数字で発注や人員配置を変えれば損失は実際に発生します。相関を因果として読むのも危険です — アイスクリームの販売量と水難事故が一緒に増えても、両者に原因と結果の関係があるわけではありません。答えが必要な問い一つを先に決め、そこで使うデータだけをきちんと管理するほうがはるかに有効です。
2000年代のデータ爆発とともに台頭した概念です。3V(量・速度・多様性)で定義され、分散処理技術(Hadoopなど)の発展とともに実用化されました。
仮想の事例で見てみましょう。生活用品を製造するA社は、役職員380名、年間売上高2,400億ウォン(約2,870,161万円)規模の会社です。季節商品の発注を営業本部の勘に任せてきたため、年間9億ウォン(約10,763万円)分の廃棄在庫が出る一方、よく売れる品目は繁忙期のたびに欠品が繰り返されていました。経営陣が'データで一度解いてみよう'と、8か月の需要予測プロジェクトを立ち上げました。
- 物流チーム長が3年分の出荷データを抽出したところ、SKU 1,200品目のうち上位80品目が売上の62%を占める一方、廃棄の半分は下位400品目から出ていました。
- データ担当の課長がERPの販売実績に気温、ポータルの検索量、プロモーション日程を重ねてみたところ、除湿機の需要は気温より検索量に2週間先行して反応することが分かりました。
- 営業本部長は「それでも現場の感覚がある」と反発し、3か月間、40品目だけを予測値と営業の発注値を並べて比べ、誤差を検証することで合意しました。
- 比較の結果、予測モデルの誤差が営業の発注より平均11%ポイント低く出たため、本部長が'これは認める'と言い、秋の発注から予測値を基準線として使い始めました。
- その過程で、代理店の返品理由コードが担当者ごとにバラバラに入力されていることが分かりました。そこでコード12種を5種に統合し、必須入力項目に変えたところ、精度がもう一段上がりました。
- 8か月後、廃棄在庫は年9億ウォン(約10,763万円)から5億3千万ウォンへ減り、欠品による販売機会の損失も月40件台から12件へ下がりました。
ク・ジャリョン
金鍾赫