데이터 품질 관리
Data Quality Management
데이터 품질 관리란?
- 고치는 것보다 들어올 때 막는 규칙
- 사번 같은 불변 식별자를 첫 열에
- 지표는 쓰는 부서가 매달 본다
데이터 품질 관리가 바꾸는 것은 회의에서 '이 숫자 맞아요?'라는 질문이 사라지는 것입니다. 인사 시스템의 인원과 급여 시스템의 인원이 다르고, 교육 수료 명단에 퇴직자가 섞여 있고, 같은 고객이 세 가지 이름으로 등록되어 있으면 어떤 분석을 해도 결론을 믿을 수 없습니다. 품질 관리는 이런 어긋남을 발견한 뒤 고치는 것이 아니라 들어올 때부터 막는 규칙으로 바꾸는 일입니다. AI와 BI 도구가 아무리 좋아져도 재료가 틀리면 결과도 틀린다는 점에서 모든 데이터 활용의 전제입니다.
품질은 보통 여섯 가지 잣대로 봅니다. 정확성(실제 값과 맞는가), 완전성(빈칸이 없는가), 일관성(시스템끼리 같은가), 적시성(제때 갱신되는가), 유일성(중복이 없는가), 유효성(정해진 형식에 맞는가)입니다. 실무에서는 이 잣대마다 점검 규칙과 허용 기준을 숫자로 정해 둡니다. 이메일 형식 오류 1% 이하, 부서 코드 미입력 0건, 주 1회 갱신 같은 식입니다. 데이터 거버넌스가 '누가 책임지는가'를 정하는 틀이라면 품질 관리는 그 안에서 실제로 데이터를 재고 고치는 손발에 해당하며, 국제적으로는 DAMA의 DMBOK가 이 영역을 정리하고 있습니다.
교육·인사 데이터는 품질 문제가 특히 자주 생기는 영역입니다. 교육 이력은 LMS, 엑셀, 외부 기관 수료증으로 흩어져 있고, 법정교육 이수 여부는 연말 점검 때 한꺼번에 맞추다 보면 누락이 나옵니다. 평가 시즌에는 평가자-피평가자 매핑이 조직 변경을 따라가지 못해 다른 부서장이 평가하는 사고가 납니다. 사람 이름을 기준으로 데이터를 합치면 동명이인이 섞이므로, 사번처럼 바뀌지 않는 식별자를 모든 표의 첫 열에 두는 습관이 품질 관리의 절반입니다.
현장에서 가장 자주 어긋나는 지점은 품질 관리를 한 번의 정제 작업으로 끝내는 것입니다. 연말에 중복을 지우고 빈칸을 채워도 입력 규칙이 그대로면 석 달 뒤 같은 상태로 돌아옵니다. 데이터를 '깨끗하게' 만든다며 원본을 덮어써 과거 값을 되살릴 수 없게 하는 실수도 흔합니다. 입력하는 현업에 품질 책임을 묻기만 하고 왜 필요한지 설명하지 않으면 필수 항목에 '없음'이나 '-'를 채워 넣는 식의 형식적 입력이 늘어납니다. 품질 지표는 IT 부서가 아니라 데이터를 쓰는 부서가 매달 보는 자리에 올라가야 유지됩니다.
데이터베이스가 기업 업무의 중심이 된 1990년대부터 데이터 오류가 의사결정에 미치는 비용이 주목받으면서 품질 관리가 별도 영역으로 정리되었습니다. 데이터 관리 전문가 단체 DAMA가 펴낸 DMBOK(Data Management Body of Knowledge)가 품질 차원과 관리 절차를 체계화한 대표적 참고서입니다.
가상의 사례로 살펴보겠습니다. 임직원 730명의 제약 유통사 A사는 지난해 12월 법정교육 이수 현황을 당국 점검에 제출하면서 LMS·엑셀·외부 수료증을 합치는 데 사흘 밤을 새웠고, 결국 퇴직자 14명이 미이수자로 잡히고 재직자 6명이 빠진 표를 냈습니다. 인사팀장은 올해는 같은 일을 반복하지 않겠다고 선언했습니다.
- 인사팀 서 대리가 세 가지 출처의 명단을 사번으로 맞춰 보니 이름 기준으로 합칠 때 동명이인 9쌍이 섞여 있었고, 외부 수료증 파일에는 사번 열 자체가 없었습니다.
- '모든 교육 명단은 사번이 첫 열'이라는 규칙을 정하고, 외부 기관에 보내는 수강 신청 양식에도 사번 칸을 추가해 수료증이 돌아올 때 사번이 붙어 오게 했습니다.
- 품질 규칙 다섯 개를 숫자로 정했는데, 사번 미입력 0건, 퇴직자 포함 0건, 부서 코드 불일치 1% 이하, 이수일 누락 0건, 월 1회 갱신이었고, IT팀이 이 규칙을 매주 자동으로 돌리는 점검표를 만들었습니다.
- 첫 점검에서 부서 코드 불일치가 11%로 나오자 서 대리는 '조직 개편 뒤 LMS 부서 코드를 아무도 안 바꿨다'는 원인을 찾아 인사 발령과 LMS 조직도를 월 1회 맞추는 절차를 추가했습니다.
- 올해 12월 법정교육 이수 현황은 반나절 만에 나왔고, 퇴직자 오포함 0명, 재직자 누락 0명이었으며, 평가자 매핑 오류도 작년 23건에서 2건으로 줄었습니다.