満足度アンケートの設計・反応評価
Training Satisfaction Survey Design
満足度調査の設計とは?
- カークパトリック1段階の反応評価に該当
- 満足度より、有用性と適用の意図を尋ねよ
- 絶対点より比較と変化が情報になる
アンケートの設問は、その研修が終わった後に社内に残るほぼ唯一の記録です。3か月後の予算審議で取り出される資料も、次の回の設計者が開く資料もこのアンケート用紙1枚です。だから設問を変えると会議の議題の水準が変わります。平均4.4点という数字は「まあまあだったので、このまま行きましょう」で終わりますが、「来週に適用する一つ」を書いた回答40件は、その場で後続のコーチングのテーマになります。アンケートを点数の収集ではなく、次の設計への入力値として見ることが出発点です。
設問は性格ごとに分けて見る必要があります。満足(良かったか)、有用性(自分の仕事に関係があるか)、適用の意図(使うつもりか)、推奨の意向(同僚に勧めたいか)は、それぞれ別のものを測っています。このうち有用性と適用の意図が、その後の現場の行動とまだつながりがあり、面白さや雰囲気に左右される満足点数はつながりが弱いです。尺度は5点が無難ですが、中立に偏りが強い場合は中間値をなくした6点を使います。選択式8〜12問、回答3分以内が現実的な上限で、メールで配ると回答率が大きく下がるため、終了直後に現場で受け取る方が良いです。
他の段階との境界も引く必要があります。満足度アンケートでは学習が起きたかどうかは測れません。'理解した'に5点をつけた人と、実際に手順を説明できる人はあまり重なりません。その確認は事前・事後診断や実習成果物の採点の役割で、反応評価はなぜそのような結果になったのかを説明する方に近いのです。自由記述も'惜しい点'と広く開くと、'なし'が半分を占めます。次の回で一つだけ変えるとしたら何かと範囲を絞ってこそ、文章が出てきます。
最もよくずれるのは、この点数を講師管理の指標として使うことです。4.5点未満だと再契約を見直すという基準が知られた瞬間、講師は難しい実習を省き、事例で場を盛り上げて10分早く終わらせるようになります。点数は上がり、学習は減る逆効果がそのまま表れます。平均だけを見るのも危険です。同じ4.2点でも標準偏差が0.3の研修と1.2の研修では状態がまったく違い、後者は講義の質ではなく対象者の選抜を誤ったサインであることが多いです。
ドナルド・カークパトリックが1959年に発表した4段階評価モデルの第1段階、反応(Reaction)評価に由来します。回答尺度は、レンシス・リッカートが1932年に提案したリッカート尺度が広く使われています。
役職員620名規模の自動車部品メーカーA社の事例です(仮想の例)。年間32の研修を運営していましたが、直近2年間の満足度平均は4.4〜4.7点で頭打ちになっていました。予算審議でどの研修を減らすべきか根拠を示せず、毎年前年度の計画をそのままコピーしている状況でした。
- 研修チームのキム課長が2年分のアンケート38件をExcel 1枚に広げて見ながら、チーム会議で"この点数では何を削り何を育てるか決められません"と言ったのが始まりでした。
- 既存の12問のうち「講義が有益だった」のような総評的な設問5つを削り、講師・内容・運営・環境の4領域8問に組み直したうえで、来週の業務に適用する一つを書く記述式の設問を1つ加えました。
- 5段階尺度を6段階に変えて中間値をなくし、終了10分前にQRコードで会場で回収しました。その際、開始前に「氏名は残らず、講師の再契約の判断には使いません」と先に案内しました。
- 試験的に適用した3つの研修で、初めて点数に差が出ました。内容は4.9、講師は4.7でしたが、運営だけ3.6でした。自由記述には"実習30分は短すぎる"、"教材は前日に受け取りたい"という声が11件集まりました。
- 実習を90分に延ばし、教材を2日前に配布した次の回では、運営の領域が3.6から4.4へ上がり、適用設問の記入率は62%から88%に、1か月後のフォローアップで実際に適用したという回答が41%でした。
チェ・ジヘ
金鍾赫