エッジAI・オンデバイスAI
Edge AI / On-Device AI
エッジAIとは?
- 機器そのものでAIを実行
- 高速で、プライバシー面でも有利
- 軽量化技術が必要
エッジAIを導入するということは、モデルを入れ替えることではなく、システムの境界線を引き直すことです。どのデータを端末内にとどめ、どこから外へ出すかを決めた瞬間、応答時間・通信費・セキュリティ審査の範囲・障害時の対応シナリオが一斉に動きます。技術の選択に見えても、実際にはインフラ担当者と品質・法務が一緒に議論して初めて結論が出る決定です。
現場では通常3つの層に分けて考えます。スマートフォンやカメラ内のNPUで直接動かすオンデバイス、工場の一角にある産業用PCやゲートウェイが複数台をまとめて処理するエッジサーバー、そして再学習と大容量分析を担うクラウドです。機器に載せるにはモデルをINT8で量子化したり、枝刈り・蒸留で小さくしたりする必要がありますが、容量が数分の一に減る代わりに、精度は通常1〜3%pの損失が出ます。往復遅延200〜300msの判断が数十msにまで縮まることが、その損失を受け入れる理由です。
よくある誤解は「端末の中で動かすので個人情報の問題は終わった」という考え方です。端末を紛失したり盗まれたりすると、中のデータやモデルがそのまま流出し、モデルファイルを解析して学習データを逆算しようとする試みもあります。二つ目の誤解はデプロイの後を計算に入れないことです。クラウドはサーバー1台を直せば終わりますが、現場に設置された3,000台の端末はOTAアップデートの仕組みとバージョン管理がないと、古いモデルが何か月も同じ誤判定を繰り返すことになります。発熱で端末が自ら性能を落とし、夜明けには合っていた判定が日中には外れることも珍しくありません。エッジにするかクラウドにするかを選ぶ前に、この端末を誰が何年管理するのかを先に決めておくのが得策です。
IoT・モバイル機器の普及とAI軽量化技術の発展により、機器そのもので推論する方式として浮上しました。
仮想の事例で見てみましょう。自動車部品を製造するA社は、役職員320名、年間売上高約900億ウォン(約1,076,310万円)規模です。塗装面の不良を捕捉しようと、ラインのカメラ映像をクラウドに送って判定していましたが、往復の遅延が0.4秒を超え、コンベアが次の工程へ進んだ後に結果が戻ってきました。3か月間見逃した不良が手直しとして戻ってきたことで、月2,000万ウォン(約239万円)を超えるコストが発生しました。
- 生産技術チームのキム・チーム長がラインのログを抽出したところ、遅延区間の78%がネットワークの往復でした。'モデルをさらに大きくするのではなく、カメラの横へ移すべきだ'とまとめました。
- AI担当者が検査モデルをINT8に量子化し、容量を4分の1に減らしましたが、精度は96.4%から95.1%に下がりました。品質チーム長は'過検出は増えても見逃しさえ増えなければ受け入れる'と述べました。
- ライン3本にそれぞれ産業用PCを1台ずつ取り付け、カメラ4台をまとめるエッジサーバー構成にしました。1台当たり480万ウォン(約57万円)、合計1,440万ウォン(約172万円)かかり、クラウドへの転送量は月9TBから0.4TBに減りました。
- 情報セキュリティ担当が'機器が盗まれたらどうするのか'と尋ねたところ、モデルファイルの暗号化と四半期ごとのOTA配布手順を文書化し、機器持ち出し時の初期化規定を社内ガイドラインに盛り込みました。
- 8週間後、判定の遅延は420msから35msに短縮され、見逃し流出率は1.8%から0.6%に下がりました。手直しコストは月2,000万ウォン(約239万円)台から700万ウォン(約84万円)台に下がり、投資費用は4か月で回収しました。
金鍾赫
キム・ソンイル