資料品質管理
Data Quality Management
什麼是資料品質管理?
- 與其事後修正,不如在資料進入時就擋下的規則
- 員工編號等不會改變的識別碼放在第一欄
- 指標由使用的部門每月檢視
資料品質管理改變的,是會議上不再出現「這個數字對嗎?」的質疑。人事系統的人數與薪資系統的人數不同、教育結訓名單混入已離職人員、同一位客戶以三種名稱登記,無論怎麼分析,結論都無法信賴。品質管理的重點不是事後發現這些不一致再修正,而是從資料進入系統的那一刻就以規則擋下。無論 AI 與 BI 工具多好,原料錯了結果也會錯,這是所有資料應用的前提。
品質通常以六個面向來檢視:正確性(是否與實際值相符)、完整性(有沒有空白)、一致性(各系統之間是否相同)、及時性(是否按時更新)、唯一性(有沒有重複)、有效性(是否符合既定格式)。實務上每個面向都會以數字訂定檢查規則與容許標準,例如電子郵件格式錯誤率 1% 以下、部門代碼未填寫 0 筆、每週更新一次等。資料治理是決定'由誰負責'的架構,品質管理則是在其中實際衡量與修正資料的執行部分。國際上 DAMA 的 DMBOK 對這個領域有完整的整理。
教育與人事資料是品質問題特別容易發生的領域。教育紀錄分散在 LMS、Excel 與外部機構的結訓證書之中;法定教育的完訓與否若要到年終查核時才一次對齊,就容易漏掉。評估季節時,評估者與受評者的對應若跟不上組織異動,就會發生由其他部門主管來評估的失誤。以人名合併資料會混入同名同姓者,因此在所有表格的第一欄放上員工編號這類不會改變的識別碼,是品質管理的一半。
現場最常發生的錯誤,是把資料品質管理當成一次性的整理工作。年底刪除重複、補齊空白,但若輸入規則不變,三個月後又會回到原狀。為了讓資料「乾淨」而直接覆蓋原始資料,讓過去的值無法復原,這種失誤也很常見。若只要求負責輸入的現場人員承擔品質責任,卻不說明為什麼需要,就會在必填欄位填上「無」或「-」,形式化的輸入會越來越多。品質指標必須放在資料使用部門每月都會看的場合,才能持續維持,不能只交給 IT 部門。
自 1990 年代資料庫成為企業業務核心、資料錯誤對決策造成的成本受到關注後,資料品質管理才被獨立整理為一個領域。資料管理專業團體 DAMA 出版的 DMBOK(Data Management Body of Knowledge,資料管理知識體系)是系統化品質面向與管理流程的代表性參考書。
以一個假設案例來說明。員工 730 人的醫藥流通公司 A 公司,去年 12 月要把法定義務教育的完訓狀況提交給主管機關查核。為了合併 LMS、Excel 與外部結訓證書,團隊熬了三個晚上,最後報出的表格把 14 名離職人員算成未完訓,又漏掉 6 名在職人員。人資主管宣布今年不再重蹈覆轍。
- 人事部 Seo 代理 把三個來源的名單以員工編號對照時發現,若以姓名合併,會有 9 組同名同姓的人混在一起,而外部結訓證書檔案甚至沒有員工編號欄位。
- 我們訂下「所有訓練名單的第一欄都是員工編號」的規則,並在寄給外部機構的報名表中也新增員工編號欄位,讓結業證書寄回時也附有員工編號。
- 我們用數字定下五項品質規則:員工編號未填 0 筆、離職者列入 0 筆、部門代碼不符 1% 以下、完訓日遺漏 0 筆、每月更新一次。IT 團隊並製作了每週自動執行這些規則的檢核表。
- 首次檢查時,部門代碼不一致的比例高達 11%。承辦人 Seo 代理 查出原因是「組織調整後,沒有人更新 LMS 的部門代碼」,於是新增了每月依照人事異動與 LMS 組織圖對齊的流程。
- 今年 12 月的法定教育完訓現況半天就出來了,離職者誤列為 0 人、在職者遺漏為 0 人,評核者對應錯誤也從去年的 23 筆降到 2 筆。
Ja-ryong Gu
金鍾赫