NPU · ニューラル処理装置
Neural Processing Unit
NPUとは?
- AI演算専用の低消費電力プロセッサー
- オンデバイスAI・AI PCの心臓部
- CPU・GPUとの役割分担の構図
NPUが実際に変えるのは、AI演算が「どこで」行われるかです。これまで企業のAI機能の多くはクラウドAPIを呼び出す構造だったため、議事録ひとつを要約するにも音声ファイルが外部のサーバーへ送られ、使った分だけ課金されていました。NPUを搭載した機器はその計算を機器内で完結させるため、呼び出し1回ごとのコストがなくなり、ネットワークが不安定な工場や出張先でも同じ機能が動きます。セキュリティ審査のたびに足かせとなってきた「データが社外に出るか」という項目そのものがなくなることが、現場ではより大きな変化です。
性能は通常TOPS(1秒あたりの兆単位の演算)で表記され、マイクロソフトがCopilot+ PCの要件として示した基準は40 TOPS以上です。ただし、この数字はINT8などの低精度演算を基準にしているため、製品同士の単純比較は難しく、体感速度はTOPSよりメモリ容量と帯域幅で決まる場合が多いです。16GBメモリのノートPCで動かせるモデルは、たいてい数十億パラメータ級に限られるため、クラウドの大型モデルと同じ品質を期待するとずれます。
役割の境界も明確です。NPUは、すでに学習済みのモデルを動かす推論専用に近く、モデルを新たに学習させたりファインチューニングしたりする作業は、依然としてGPUサーバーの役割です。そのため実務での判断は「NPUかGPUか」ではなく、社内文書の要約・翻訳・話者分離のように反復的で機密性の高い作業は機器上で、大型モデルが必要な作業はクラウドで処理する業務別の分離設計へと落とし込むべきです。
最もよくある誤解は、NPU搭載のノートPCを買えば、使っていたAIアプリが自然に速くなるという考えです。アプリケーションとドライバーがNPUの経路に対応していなければ、演算はそのままCPUに回され、高価な機器を買ったのに、ファンの騒音とバッテリー消耗だけが増える状況が生じます。実際、導入稟議書に書いた効果が検証されず、翌年の予算が削られる事例も少なくありません。もう一つ、オンデバイス機器だからといって、すべての処理が機器の中にとどまるわけでもありません。アプリが内部的にクラウドを呼び出せばセキュリティ効果はゼロになるため、購入前に「そのアプリがNPUを使うかどうか」をベンダーに文書で受け取っておく手順が必要です。
ディープラーニングの普及とともに、AI演算をCPU・GPUよりも効率的に処理しようとする専用アクセラレーターの開発が2010年代半ばから本格化したことで登場した概念です。その後、スマートフォンのAPにニューラル処理装置が搭載されるようになり、現在はモバイル・PC・サーバーの全般に広がっています。
仮想の事例でご説明します。役職員620名規模の自動車部品メーカーA社は、2019年に支給したノートPC380台の入れ替え時期を迎えました。設計図面や協力会社の単価表を扱う部署では「外部のAIサービスに社内文書をアップロードしないこと」というセキュリティ指針があり、AIの活用率はほぼ0に近い状態でした。情報戦略チームは4か月かけてNPU搭載AI PCの導入を検討しました。
- 情報戦略チーム長が部署ごとに「AIを使いたかったものの、指針のため使えなかった業務」を募り、32件を集めました。議事録作成・外国語メール翻訳・仕様書要約の3つが要望全体の半数を超えました。
- 購買チームは見積書の45 TOPSという数値だけを見て機種を選ぼうとしましたが、チーム長が「普段使っているグループウェアとPDFビューアーがNPUを実際に使うかどうかから確認しよう」と言い、ベンダー3社に対応アプリの一覧を求めました。
- 設計チームと購買チームの40名にまず40台のノートPCを配布し、8週間のパイロットを実施しました。既存のノートPC10台を対照群として置き、バッテリー持続時間と文書要約の処理時間を同じ基準で測定しました。
- 4週目に「要約ボタンを押してもファンが回るだけ」という不満が出て確認したところ、該当アプリはCPUで演算していました。ドライバーとアプリのバージョンを上げた後に、ようやくNPUの経路が確保されました。
- 導入を確定した後、人事チームと共同で2時間の実習研修を3回実施し、190名が参加しました。また、部署ごとに「この文書は機器で、この作業はクラウドで」を区分した1枚の基準表を配布しました。
- 8週間後、会議1件あたりの議事録整理時間は平均35分から9分に短縮され、セキュリティ指針を守りながら処理できる文書の種類が増えたことで、外部AIのサブスクリプション予算を年間約1,900万ウォン(約227万円)削減しました。
ク・ジャリョン
パク・スンテ