滿意度問卷設計・反應評估
Training Satisfaction Survey Design
什麼是滿意度問卷設計?
- 相當於柯克派屈克第一層次的反應評估
- 與其問滿意度,不如問實用性與應用意願
- 比起絕對分數,比較與變化才是有用的資訊。
問卷題目是課程結束後,公司裡幾乎唯一留下的紀錄。三個月後在預算審議時調出的資料,以及下一期課程設計者打開來看的資料,都是這一張問卷。因此只要改變題目,會議議題的層次也會跟著改變。平均 4.4 分這個數字,最後只會得出'還算過得去,照舊就好'的結論;但寫下'下週要應用的一件事'的 40 份回覆,當下就能成為後續輔導的主題。出發點是把問卷視為下一次設計的輸入值,而非單純的分數蒐集。
題目應依性質區分。滿意度(是否喜歡)、實用性(與我的工作是否相關)、應用意願(是否會用)、推薦意向(是否會推薦給同事),各自測量的東西不同。其中實用性與應用意願與之後的在職行為較能連結,而受趣味與氣氛左右的滿意分數,連結就比較弱。量表用 5 點較為穩妥,但若中立選項過於集中,則改用去掉中間值的 6 點量表。選擇題 8~12 題、作答 3 分鐘內是實際的上限;若改用電子郵件寄送,回覆率會大幅下降,因此最好在結束後當場發放。
也必須劃清與其他階段的界線。滿意度問卷無法測量學習是否發生。給「我懂了」打 5 分的人,與真的能說明流程的人,並不太重疊。學習的確認屬於事前事後診斷或實作成果評分的工作,反應評估則較偏向說明為什麼會出現這樣的結果。自由填答若只問「可惜的地方」,回答「沒有」的會佔一半。若下一梯次只能改一件事,會是什麼?範圍這樣縮小,才寫得出句子。
最常出錯的地方,是把這個分數拿來當講師管理指標。一旦讓講師知道「4.5 分以下就會重新檢討續約」,講師就會刪掉較難的實作、靠案例炒熱氣氛,還提早 10 分鐘下課。分數上升、學習下降,反效果就這樣出現。只看平均也有風險。同樣是 4.2 分,標準差 0.3 的課程與標準差 1.2 的課程狀況完全不同,後者往往不是授課品質的問題,而是學員篩選出了錯誤的訊號。
源自 Donald Kirkpatrick 於 1959 年發表的四階段評估模型中,第一階段「反應(Reaction)」評估。回應量表則廣泛採用 Rensis Likert 於 1932 年提出的李克特量表。
A 公司是員工約 620 人規模的汽車零件製造商(虛構案例)。每年開設 32 門課程,近兩年的滿意度平均一直停在 4.4~4.7 分。預算審議時拿不出該縮減哪門課程的依據,每年只能照抄前一年的計畫。
- 一切始於教育訓練組金課長把兩年份 38 份問卷攤開在一張 Excel 上,在組內會議中說:「用這些分數,決定不了該砍什麼、該養什麼。」
- 在原有的 12 題中,刪去 5 題如'課程很有幫助'這類總評性問題,改為講師、內容、營運、環境四大領域共 8 題重新排列,並加上一題簡答題,請學員寫下下週工作中要應用的一件事。
- 將五點量表改為六點,去除中間值;並在結束前 10 分鐘以 QR 碼於現場收集,開始前先說明"不會留下姓名,也不會用於講師續約判斷"。
- 試行的 3 門課程,分數第一次出現分化。內容 4.9、講師 4.7,但營運只有 3.6;自由填寫區則有 11 則集中反映「實作 30 分鐘太短」「希望前一天就能拿到教材」。
- 將實作延長為 90 分鐘,並提前兩天發放教材後,下一梯次的營運面向從 3.6 升至 4.4;應用題作答率從 62% 升到 88%,一個月後的追蹤中,表示確實應用的回覆達 41%。
崔智惠
金鍾赫