Diseño de encuestas de satisfacción · evaluación de reacción
Training Satisfaction Survey Design
¿Qué es el diseño de encuestas de satisfacción?
- Corresponde al nivel 1 de Kirkpatrick: evaluación de reacción.
- Pregunte por la utilidad y la intención de aplicar, no solo por la satisfacción.
- Más que la puntuación absoluta, lo que informa es la comparación y el cambio.
Las preguntas de la encuesta son casi el único registro que queda en la empresa después de terminar la capacitación. Lo que se saca en la revisión presupuestaria dentro de tres meses, y lo que abre el diseñador de la siguiente edición, es esta misma hoja de encuesta. Por eso, cambiar las preguntas cambia el nivel de la discusión en la reunión. Un promedio de 4.4 termina en “salió bien, sigamos igual”, pero las 40 respuestas que indican “una cosa para aplicar la próxima semana” se convierten de inmediato en temas de coaching de seguimiento. El punto de partida es ver la encuesta como insumo para el próximo diseño, y no solo como una recolección de puntajes.
Los ítems conviene separarlos según su naturaleza. Satisfacción (si gustó), utilidad (si tiene relación con mi trabajo), intención de aplicar (si lo usaré) y disposición a recomendar (si lo recomendaría a un colega) miden cosas distintas. De ellos, utilidad e intención de aplicar son los que se relacionan con las conductas posteriores en el trabajo; la satisfacción, que depende de la diversión y el ambiente, guarda una relación débil. Para la escala, 5 puntos es lo habitual, pero si las respuestas se concentran en el punto medio, use 6 puntos sin opción neutral. Entre 8 y 12 preguntas de opción múltiple y 3 minutos o menos de respuesta es un límite realista. Si se envía por correo, la tasa de respuesta baja mucho, por eso conviene aplicarla en el lugar, justo al terminar.
También hay que trazar límites con las demás etapas. La encuesta de satisfacción no puede medir si se produjo el aprendizaje. Quien puso 5 puntos en 'Lo entendí' no necesariamente es quien puede explicar el procedimiento en la práctica. Esa verificación corresponde a las pruebas previas y posteriores o a la evaluación de los productos de la práctica, mientras que la evaluación de reacción se acerca más a explicar por qué salió ese resultado. Las preguntas abiertas, si se formulan como «aspectos a mejorar», suelen recibir «ninguno» en la mitad de los casos. Para obtener respuestas con contenido, hay que acotar la pregunta: ¿qué cambiaría usted, solo una cosa, en la próxima edición?
El error más frecuente es usar este puntaje como indicador para gestionar a los instructores. En cuanto se conoce el criterio de que por debajo de 4.5 se revisa la renovación del contrato, los instructores dejan de hacer prácticas difíciles, animan la clase con ejemplos y terminan 10 minutos antes. El puntaje sube y el aprendizaje baja: aparece el efecto contraproducente con toda claridad. Tampoco conviene mirar solo el promedio. Dos cursos con 4.2 pueden estar en situaciones totalmente distintas si su desviación estándar es 0.3 o 1.2. En el segundo caso, muchas veces la señal no es la calidad de la clase, sino que la selección de los participantes fue incorrecta.
Jihye ChoiEspecialista en design thinking, onboarding de nuevos colaboradores y formación de instructores
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John KimSe originó en el primer nivel, reacción (Reaction), del modelo de evaluación de cuatro niveles que Donald Kirkpatrick publicó en 1959. La escala de respuesta más usada es la escala Likert, propuesta por Rensis Likert en 1932.
Empresa A (ejemplo ficticio), fabricante de autopartes con 620 colaboradores. Opera 32 cursos al año, pero en los últimos dos años su satisfacción promedio se había quedado estancada entre 4.4 y 4.7 puntos. En la revisión presupuestaria no tenían una base para decidir qué curso reducir, así que cada año copiaban el plan del año anterior.
- Todo empezó cuando Kim, gerente del equipo de capacitación, desplegó en una sola hoja de Excel 38 encuestas de dos años y, en una reunión de equipo, dijo: “Con este puntaje no podemos decidir qué recortar ni qué fortalecer”.
- De las 12 preguntas anteriores, se eliminaron 5 de tipo valoración general, como «la clase fue útil», y las restantes se reorganizaron en 8 preguntas en cuatro áreas: instructor, contenido, operación y entorno. Después se agregó una pregunta abierta para anotar una sola cosa que se aplicará en el trabajo la semana siguiente.
- Cambiamos la escala de 5 a 6 puntos para eliminar el punto medio, y recogimos las respuestas en el lugar con un código QR 10 minutos antes de terminar. Antes de comenzar informamos primero: “Su nombre no quedará registrado y no se usará para decidir la renovación del instructor”.
- En los tres cursos del piloto, los puntajes se separaron por primera vez. Contenido 4.9 e instructor 4.7, pero la operación solo obtuvo 3.6. En las respuestas abiertas se concentraron 11 comentarios como “30 minutos de práctica son muy pocos” y “quisiera recibir el material el día anterior”.
- En la siguiente edición, al ampliar la práctica a 90 minutos y distribuir el material dos días antes, el área de operación subió de 3.6 a 4.4, la tasa de redacción de ítems de aplicación pasó de 62% a 88% y, en el seguimiento al mes, 41% respondió que sí lo había aplicado.