AI研修の現場適用率 · AI研修効果測定
On-the-Job Application Rate of AI Training
AI研修の現場適用率とは?
- 「聞いた」ではなく「使っている」を数える
- アンケートとログを突き合わせ、測定は4週間後以降
- 低い原因が研修にあるのか環境にあるのかを、まず切り分ける
AI研修の現場適用率を測り始めると変わるのは、研修設計の順序です。適用率を報告しなければならないと分かると、担当者は研修を組む前に「この人たちは研修後に何をするのか」を決めるようになり、その答えがない研修は最初から開講しなくなります。満足度4.5点の研修と1か月後の適用率20%の研修が、同じ研修かもしれないという事実が数字で見えるところから始まります。10月の来年度計画の時期にこの数字があれば、どの研修を増やし、どの研修を畳むかが満足度表よりはるかに早く整理できます。
測定は通常、三つの材料を組み合わせます。一つ目は、研修の4〜8週間後に本人アンケートで「学んだことのうち業務で使ったものがあるか、何を、週何回か」を尋ねます。二つ目は、AIサービスの管理者ログで、研修前後4週間のアクセス数・リクエスト数を同じ人単位で比べます。三つ目は、成果物の証拠で、現場適用計画書に書いた課題を実際に行ったかをチーム長が確認します。本人アンケートとログを突き合わせ、「使っていると答えて、ログにも残っている人」を適用者として数えるのが、最も説得力があります。測定時点は研修直後ではなく4週間後以降であるべきで、研修の翌週のアンケートは記憶効果のため、ほぼ例外なく高めに出ます。
適用率は研修の問題だけを反映するわけではありません。同じ研修を受けても、ライセンスが配分されていない部署、チーム長がAIの利用を快く思っていない部署、セキュリティ方針のため使えるツールがない部署では、適用率が下がります。研修要因と環境要因を分けて読んでこそ、次の措置が正しく決まります。適用率が低い原因が環境にあるなら、研修を直すのではなく、ライセンスの配分やチーム長への働きかけが先です。研修前に現場適用計画書を受け取っておき、研修中にその課題で実習させれば、適用率は多くの場合はっきり上がります。
現場で最もよく食い違うのは、適用率をそのまま講師評価に使ってしまうことです。環境要因を取り除かないまま講師に責任を負わせると、講師は次からも使いやすい浅い内容しか教えなくなります。もう一つは、適用率を上げようとしてアンケートの設問を緩めることです。「一度でも使ってみた」を適用と数えると数値は90%になりますが、何も語ってくれません。基準は「週1回以上、業務の成果物に使った」程度に定めて固定し、毎年同じ設問を使ってこそ推移が読めます。適用率の低い研修をすぐに廃止するのも性急です。研修後4週間以内にチーム長との面談を1回入れるだけで、同じ研修の適用率が変わることが多いのです。
カークパトリックの4段階評価モデルのうち、3段階目の'行動(Behavior)'評価、すなわち研修後に現場で行動が変わったかを見る観点が、AI研修に応用されたものです。AI研修は道具の利用ログが残るという点で、従来の研修より行動変化を客観的に確認しやすく、実務で素早く定着しました。
架空の事例で見てみましょう。役職員1,500名の保険販売子会社A社は、今年、全社員向けのAI入門研修を12回に分けて実施し、満足度4.6点を得ました。しかし教育チーム長は、"それで実際に使っているのか"という来年度予算審議での質問に答えられませんでした。残りの回数は4回でした。
- 教育チームのソ・チーム長は、残りの4回から研修の2週間前に現場適用計画書を提出させ、'研修後4週間以内に取り組む課題1つ'を書かせ、研修中の実習をその課題に置き換えました。
- 適用の基準は'週1回以上、業務の成果物に使用'と明確に定め、研修の5週間後に本人アンケートと管理者ログを突き合わせ、両方に該当する人だけを適用者として数えました。
- 先の8回は適用率23%、変更後の4回は51%でしたが、支店の営業職は両グループとも低いままでした。営業本部長は「支店にはまだライセンスがありません」と答え、原因が研修ではないことが分かりました。
- ソ・チーム長は適用率報告書に研修要因と環境要因を分けて記載し、支店へのライセンス配分とチーム長面談1回を来年度の研修運営条件として付けて予算案に載せました。
- 予算審議で、入門研修は回数を12回から8回に減らし、その財源で適用課題中心の応用研修6回を新設する案が通過しました。翌年上半期の適用率は全社平均47%と集計されました。
金鍾赫(キム・ジョンヒョク)
パク・ソリョン