AI 培訓現場應用率 · AI 培訓成效評估
On-the-Job Application Rate of AI Training
什麼是 AI 培訓現場應用率?
- 計的是「有在用」,不是「有聽過」
- 問卷與紀錄交叉比對,測量於 4 週後進行
- 先分辨應用率低落的原因是培訓還是環境
開始測量 AI 培訓的現場應用率,改變的是培訓設計的順序。知道要回報應用率後,負責人在規劃課程前就會先決定「這些人培訓後要做什麼」,而沒有答案的課程,一開始就不會開。滿意度 4.5 分的培訓,與一個月後應用率 20% 的培訓,可能是同一門課,這個事實被數字揭露,正是起點。每年 10 月規劃明年計畫時,有了這個數字,該增加哪些課程、該停掉哪些課程,就能比看滿意度表更快定案。
測量通常會混合三種材料。第一是培訓 4 至 8 週後,以本人問卷詢問"學過的內容中,有沒有用在工作上、用了什麼、每週幾次"。第二是 AI 服務的管理員紀錄,以同一人為單位,比較培訓前後 4 週的登入與請求次數。第三是產出證明,由組長確認現場應用計畫書所列的任務是否實際完成。將本人問卷與紀錄交叉比對,只把"答有在用、紀錄也有留下"的人計為應用者,最具說服力。測量時點應是培訓 4 週之後,而非培訓剛結束時,培訓後一週的問卷因記憶效果,幾乎總是偏高。
應用率並不只反映培訓本身的問題。即使修同一門課,若部門沒有配置授權、組長不喜歡使用 AI,或因資安政策而無可用工具,應用率都會下降。必須把培訓變數與環境變數分開解讀,後續行動才正確。若應用率偏低的原因在環境,應先處理授權配置或說服組長,而不是修改培訓本身。培訓前先收取現場應用計畫書,培訓中讓學員以該任務進行實作,應用率通常會明顯提升。
現場最常出錯的地方,是直接把應用率當作講師評價來使用。若不扣除環境因素就把責任歸給講師,講師以後只會教容易運用的淺層內容。另一點是為了提高應用率而把問卷題目放寬。若把「至少試用過一次」也算作應用,數字會變成 90%,卻什麼也說明不了。標準應定為「每週至少一次用在工作成果上」這種明確的說法,每年問同樣的題目,趨勢才讀得出來。應用率低的課程也不宜立刻廢除。只要在培訓後 4 週內安排一次主管面談,同一課程的應用率往往就會不同。
柯克派崔克四層次評估模型中的第三層'行為(Behavior)'評估,亦即檢視培訓後現場行為是否改變的觀點,被應用到 AI 培訓上。AI 培訓會留下工具使用紀錄,相較傳統培訓更容易客觀確認行為改變,因此在實務上很快就站穩了腳步。
我們用假設案例來看看。員工 1,500 人的保險銷售子公司 A 公司,今年讓全體員工接受 AI 入門培訓,共開了 12 梯次,滿意度拿到 4.6 分。但教育團隊主管在明年預算審議時,被問到「那你們到底有沒有在用?」,卻答不上來。當時剩下的梯次還有 4 次。
- 培訓團隊的 Seo 組長從剩下的 4 場開始,於培訓前 2 週收取現場應用計畫書,要求填寫"培訓後 4 週內要完成的 1 項任務",並將培訓中的實作改為以該任務進行。
- 應用標準定為'每週至少 1 次用於工作產出',培訓 5 週後將本人問卷與管理員紀錄交叉比對,只有兩者皆符合的人才計為應用者。
- 前面 8 場的應用率為 23%,改版後的 4 場為 51%,但分行業務人員兩組都偏低。業務本部長回答"分行目前還沒有授權",原因因此明確不在培訓本身。
- Seo 組長在應用率報告中,將培訓變數與環境變數分開記載,並把分行授權配置與組長面談一次,列為明年培訓的運作條件,一併放入預算案送審。
- 預算審議時通過一案:入門培訓場次由 12 場減為 8 場,並以節省的經費新增 6 場以應用任務為核心的進階培訓,次年上半年的應用率全公司平均為 47%。
金鍾赫
朴雪英