データ品質管理
Data Quality Management
データ品質管理とは?
- 直すより、入ってくる時点で止めるルール
- 社員番号のような不変の識別子を先頭列に
- 指標は使う部署が毎月確認する
データ品質管理がもたらすのは、会議で「この数字、合っていますか?」という質問が消えることです。人事システムの人数と給与システムの人数が違い、研修の修了者名簿に退職者が混じり、同じ顧客が3つの名前で登録されていれば、どんな分析をしても結論は信用できません。品質管理は、こうしたズレを見つけてから直すのではなく、入ってくる段階で止めるルールに変えることです。AIやBIツールがどれほど優れていても、材料が間違っていれば結果も間違うという点で、あらゆるデータ活用の前提です。
品質は通常、6つの観点で見ます。正確性(実際の値と合っているか)、完全性(空欄がないか)、一貫性(システム間で揃っているか)、適時性(適切なタイミングで更新されているか)、一意性(重複がないか)、妥当性(定められた形式に合っているか)です。実務では観点ごとに点検ルールと許容基準を数字で決めておきます。メール形式のエラー1%以下、部署コードの未入力0件、週1回の更新、といった具合です。データガバナンスが「誰が責任を負うか」を定める枠組みだとすれば、品質管理はその中で実際にデータを測り直し、直す実働部隊にあたり、国際的にはDAMAのDMBOKがこの分野を整理しています。
研修・人事データは、品質の問題が特に頻繁に起きる分野です。研修履歴はLMS、Excel、外部機関の修了証に分散しており、法定教育の修了有無は年末の点検時にまとめて照合すると漏れが出ます。評価シーズンには評価者と被評価者のマッピングが組織変更に追いつかず、別の部署長が評価してしまう事故が起きます。人の名前を基準にデータを統合すると同姓同名が混じるため、社員番号のように変わらない識別子を、すべての表の先頭列に置く習慣が品質管理の半分を占めます。
現場で最も多くつまずくのは、品質管理を一度の整理作業で終わらせてしまうことです。年末に重複を消し空欄を埋めても、入力ルールがそのままなら3か月後には元の状態に戻ります。データを「きれいにする」つもりで原本を上書きし、過去の値を復元できなくしてしまうミスも少なくありません。入力する現場に品質の責任を問うだけで理由を説明しないと、必須項目に「なし」や「-」を入れるような形式的な入力が増えます。品質指標はIT部門ではなく、データを使う部署が毎月確認する場に載せてこそ維持されます。
データベースが企業業務の中心となった1990年代から、データの誤りが意思決定にもたらすコストが注目されるようになり、品質管理は独立した領域として整理されてきました。データ管理の専門家団体DAMAが編んだDMBOK(Data Management Body of Knowledge)は、品質の観点と管理手順を体系化した代表的な参考書です。
架空の事例で見てみましょう。役職員730名の医薬品流通会社A社は、昨年12月、法定教育の修了状況を当局の点検に提出する際、LMS・Excel・外部の修了証を突き合わせるのに3日間徹夜しました。その結果、退職者14名が未修了者として計上され、在籍者6名が抜けた表を提出することになりました。人事チーム長は、今年は同じことを繰り返さないと宣言しました。
- 人事チームのソ代理が3つの出典の名簿を社員番号で照合したところ、名前を基準に統合すると同姓同名が9組混じっており、外部の修了証ファイルには社員番号の列そのものがありませんでした。
- 'すべての研修名簿は社員番号を先頭列に'というルールを定め、外部機関に送る受講申込書にも社員番号欄を追加して、修了証が戻ってくるときに社員番号が付いて届くようにしました。
- 品質ルール5項目を数値で定めました。社員番号の未入力0件、退職者の混入0件、部署コードの不一致1%以下、受講日の欠落0件、月1回の更新です。IT担当チームは、このルールを毎週自動で実行するチェックリストをつくりました。
- 最初の点検で部署コードの不一致が11%と出ると、ソ代理は「組織改編の後、LMSの部署コードを誰も変えていなかった」という原因を突き止め、人事発令とLMSの組織図を月1回合わせる手順を加えました。
- 今年12月の法定教育の受講状況は半日で出せるようになり、退職者の誤った混入は0名、在職者の漏れは0名、評価者のマッピング誤りも昨年の23件から2件に減りました。
ク・ジャリョン
金鍾赫