學習分析
Learning Analytics
什麼是學習分析?
- 分析學習數據,診斷並改善教育成效
- 看修課、參與、成果與行為
- 不靠「直覺」,用資料來管理教育
學習分析真正改變的,是季度教育檢討會議上的對話。不再說「這次課程反應很好」,而是會說「第 3 週有大量學員放棄,而那一週的影片就長達 47 分鐘」。一旦有了依據,爭論就會變成改善課題。教育團隊守住預算的方式也會隨之不同——因為是用紀錄來說明,而不是找藉口。
分析通常分為四個層次。描述性分析:發生了什麼事(完成率、進度、登入時間);診斷性分析:為什麼會發生(流失區段、各題答錯率);預測性分析:誰有風險(兩週未登入者未完成的機率);規範性分析:應該做什麼(推薦客製化內容)。多數國內企業仍停留在第一層。每個月都會整理完成率表,但流失最集中的區段從未被打開檢視的情況很常見。
也需要先把界線講清楚。學習分析處理的是學習歷程的資料;而涵蓋招募、離職、晉升的人才分析,資料來源和目的都不同。若課程修課人數不到 30 人,訪談比統計更準確。樣本越小,一兩人的中途放棄就會大幅左右比率,因此小型課程宜以對話取代數字來著手較為妥當。
最常見的誤解,是以為裝了儀表板,分析就開始了。工具只是提供畫面,決定看什麼的還是人。更危險的是把相關當成因果來解讀。可能是高績效者本來就多上課,而不是課程造就了高績效。若把修課率設為個人KPI,就會出現只開著影片、同時做別的事的人;若傳出資料被當成監控工具的風聲,員工就會逃避學習紀錄本身。
隨著 e-learning 與 LMS 的普及,學習紀錄大量累積,於 2010 年代發展成為獨立領域。它是在教育工學與資料分析交會之處發展而來的。
以假設案例來看。這是員工 2,400 人、年營收 KRW 410,000,000,000 (≈ US$306,872,400) 規模的流通業 A 公司。新任組長的線上課程已營運三年,但完成率始終停在 41%,毫無起色。當時大家只是不斷重複「是課程內容不好吧」這句話。
- HRD 團隊金課長從 LMS 下載近兩年的學習紀錄,共 1 萬 2 千多筆,依週次拆開來看,發現全部流失的 38% 集中在第 3 週。
- 打開播放區段資料一看,第 3 週 47 分鐘的影片,平均都停在第 11 分鐘處。而那一點正好接著一支 12 分鐘的案例影片。
- 致電給中途放棄的 5 位組長後,有 3 位給出了相同的回答:"通勤時在捷運上看,超過 15 分鐘就看不下去"。
- 教育企劃朴組長把 47 分鐘的影片切成 6 段、每段 8 分鐘,並附上實作工作表。另外,對兩週未登入的學員,改為以其所屬本部長名義發送提醒。
- 6 個月後,完成率從 41% 升至 78%,第 3 週的中途退出率從 38% 降至 9%。完成課程者接受績效面談的比例,比未完成者高出 2.3 倍,這也是將人事數據一併對照後才首次確認的事。
Anna Jo
金鍾赫