만족도 설문 설계 · 반응평가
Training Satisfaction Survey Design
만족도 설문 설계란?
- 커크패트릭 1단계 반응평가에 해당
- 만족보다 유용성과 적용 의도를 물어라
- 절대 점수보다 비교와 변화가 정보다
설문 문항은 그 교육이 끝난 뒤 회사에 남는 거의 유일한 기록입니다. 석 달 뒤 예산 심의에서 꺼내는 자료도, 다음 차수 설계자가 열어보는 자료도 이 설문지 한 장입니다. 그래서 문항을 바꾸면 회의 안건의 수준이 바뀝니다. 평균 4.4점이라는 숫자는 '그럭저럭 됐으니 그대로 갑니다'로 끝나지만, '다음 주에 적용할 한 가지'를 적은 응답 40건은 그 자리에서 후속 코칭 주제가 됩니다. 설문을 점수 수집이 아니라 다음 설계의 입력값으로 보는 것이 출발점입니다.
문항은 성격에 따라 갈라 봐야 합니다. 만족(좋았는가), 유용성(내 일과 관련 있는가), 적용 의도(쓸 것인가), 추천 의향(동료에게 권하겠는가)은 서로 다른 것을 잽니다. 이 중 유용성과 적용 의도가 이후 현업 행동과 그나마 이어지고, 재미와 분위기에 좌우되는 만족 점수는 연결이 약합니다. 척도는 5점이 무난하되 중립 쏠림이 심하면 중간값을 없앤 6점을 씁니다. 객관식 8~12문항, 응답 3분 안쪽이 현실적인 상한이고, 메일로 돌리면 응답률이 크게 떨어지므로 종료 직후 현장에서 받는 편이 낫습니다.
다른 단계와 경계도 그어야 합니다. 만족도 설문은 학습이 일어났는지를 재지 못합니다. '이해했다'에 5점을 준 사람과 실제로 절차를 설명할 수 있는 사람은 잘 겹치지 않습니다. 그 확인은 사전·사후 진단이나 실습 산출물 채점의 몫이고, 반응평가는 왜 그런 결과가 나왔는지를 설명하는 쪽에 가깝습니다. 자유 기술도 '아쉬운 점'이라고 열어두면 '없음'이 절반입니다. 다음 차수에서 딱 하나만 바꾼다면 무엇이냐고 범위를 좁혀야 문장이 나옵니다.
가장 자주 어긋나는 지점은 이 점수를 강사 관리 지표로 쓰는 것입니다. 4.5점 미만이면 재계약을 재검토한다는 기준이 알려지는 순간, 강사는 어려운 실습을 빼고 사례로 분위기를 띄우며 10분 일찍 마칩니다. 점수는 오르고 학습은 줄어드는 역효과가 그대로 나타납니다. 평균만 보는 것도 위험합니다. 같은 4.2점이라도 표준편차가 0.3인 과정과 1.2인 과정은 상태가 전혀 다르고, 후자는 강의 품질이 아니라 대상자 선발이 잘못됐다는 신호인 경우가 많습니다.
도널드 커크패트릭이 1959년 발표한 4단계 평가 모형의 1단계 반응(Reaction) 평가에서 비롯됐습니다. 응답 척도는 렌시스 리커트가 1932년 제안한 리커트 척도가 널리 쓰입니다.
임직원 620명 규모의 자동차 부품 제조사 A사입니다(가상 예시). 연간 32개 과정을 운영하는데 최근 2년 만족도 평균이 4.4~4.7점에 갇혀 있었습니다. 예산 심의에서 어느 과정을 줄일지 근거를 대지 못해 매년 전년도 계획을 그대로 복사하던 상황이었습니다.
- 교육팀 김 과장이 2년치 설문 38건을 엑셀 한 장에 펼쳐 보고 팀 회의에서 "이 점수로는 뭘 자르고 뭘 키울지 못 정합니다"라고 말한 것이 시작이었습니다.
- 기존 12문항 중 '강의가 유익했다' 같은 총평성 문항 5개를 덜어내고, 강사·내용·운영·환경 4개 영역 8문항으로 재배치한 뒤 다음 주 업무에 적용할 한 가지를 적는 주관식 1개를 붙였습니다.
- 5점 척도를 6점으로 바꿔 중간값을 없애고, 종료 10분 전 QR로 현장에서 받되 "이름은 남지 않고 강사 재계약 판단에는 쓰지 않습니다"라고 시작 전에 먼저 안내했습니다.
- 시범 적용한 3개 과정에서 점수가 처음으로 갈렸습니다. 내용 4.9, 강사 4.7인데 운영만 3.6이었고, 자유 기술에는 "실습 30분은 너무 짧다", "교재를 전날 받고 싶다"가 11건 몰렸습니다.
- 실습을 90분으로 늘리고 교재를 이틀 전 배포한 다음 차수에서 운영 영역이 3.6에서 4.4로 올랐고, 적용 문항 작성률은 62%에서 88%, 한 달 뒤 팔로업에서 실제로 적용했다는 응답이 41%로 나왔습니다.