AI 교육 현업 적용률 · AI 교육 효과 측정

AI 교육 현업 적용률이란?

AI 교육 현업 적용률을 재기 시작하면 바뀌는 것은 교육 설계의 순서입니다. 적용률을 보고해야 한다는 것을 알면 담당자는 과정을 짜기 전에 '이 사람들이 교육 뒤 무엇을 할 것인가'부터 정하게 되고, 그 답이 없는 과정은 애초에 열지 않게 됩니다. 만족도 4.5점짜리 교육과 한 달 뒤 적용률 20%짜리 교육이 같은 과정일 수 있다는 사실이 숫자로 드러나는 것이 출발점입니다. 10월 내년 계획 시즌에 이 숫자가 있으면 어느 과정을 늘리고 어느 과정을 접을지가 만족도표보다 훨씬 빨리 정리됩니다.

측정은 보통 세 가지 재료를 섞습니다. 첫째는 교육 4~8주 뒤 본인 설문으로 '배운 것 중 업무에 쓴 것이 있는가, 무엇을, 주 몇 회'를 묻습니다. 둘째는 AI 서비스 관리자 로그로, 교육 전후 4주의 접속·요청 수를 같은 사람 단위로 비교합니다. 셋째는 산출물 증빙으로, 현업 적용 계획서에 적은 과제를 실제로 했는지 팀장이 확인합니다. 본인 설문과 로그를 교차해 '쓰고 있다고 답했고 로그에도 남은 사람'을 적용자로 세는 것이 가장 방어력이 있습니다. 측정 시점은 교육 직후가 아니라 4주 이후여야 하며, 교육 다음 주 설문은 기억 효과 때문에 거의 항상 높게 나옵니다.

적용률은 교육의 문제만 반영하지 않습니다. 같은 과정을 들어도 라이선스가 배정되지 않은 부서, 팀장이 AI 사용을 못마땅해하는 부서, 보안 정책 때문에 쓸 수 있는 도구가 없는 부서에서는 적용률이 떨어집니다. 교육 변수와 환경 변수를 나눠 읽어야 다음 조치가 맞습니다. 적용률이 낮은 원인이 환경이라면 교육을 고칠 것이 아니라 라이선스 배정이나 팀장 설득이 먼저입니다. 교육 전에 현업 적용 계획서를 받아 두고 교육 중에 그 과제로 실습하게 하면 적용률은 대개 눈에 띄게 오릅니다.

현장에서 가장 자주 어긋나는 지점은 적용률을 강사 평가에 그대로 쓰는 것입니다. 환경 변수를 빼지 않은 채 강사에게 책임을 돌리면 강사는 다음부터 쓰기 쉬운 얕은 내용만 가르치게 됩니다. 또 하나는 적용률을 높이려고 설문 문항을 느슨하게 바꾸는 것입니다. '한 번이라도 써 봤다'를 적용으로 세면 수치는 90%가 되지만 아무것도 말해 주지 않습니다. 기준은 '주 1회 이상 업무 산출물에 썼다' 정도로 못 박아 두고 해마다 같은 문항을 써야 추세가 읽힙니다. 적용률이 낮은 과정을 곧바로 폐지하는 것도 성급합니다. 교육 뒤 4주 안에 팀장 면담 한 번을 넣는 것만으로 같은 과정의 적용률이 달라지는 경우가 많습니다.