知識 · IT・資料・DX

NPU · 神經網路處理器

Neural Processing Unit

📂IT・資料・DX⏱閱讀 2 分鐘📊入門🔗相關 4

什麼是 NPU?

一句話定義
專門為神經網路運算設計的 AI 專用半導體(Neural Processing Unit),以低功耗快速處理 AI 功能的處理器。
此主題,納入企業內訓📚 相關課程💬 教育洽詢
⚡ 3 行重點摘要
  • AI 運算專用的低功耗處理器
  • 端側 AI・AI 電腦的核心
  • CPU·GPU 的分工格局

NPU 真正改變的是 AI 運算'在哪裡'發生。到目前為止,企業的 AI 功能大多是呼叫 雲端 API 的架構,因此即使只是摘要一份會議紀錄,語音檔也會上傳到外部 伺服器,並依用量計費。裝有 NPU 的裝置則在機器內完成運算,所以每次呼叫的費用就消失了,在網路不穩的工廠或出差地點,同樣的功能也能運作。每次資安審查時都會卡關的'資料是否會流到公司外'這一項本身不復存在,這對現場而言是更大的改變。

效能通常以 TOPS(每秒可執行數兆次運算)標示,微軟提出的 Copilot+ PC 規格標準為 40 TOPS 以上。不過,這個數字是以 INT8 等低精度運算為基準,因此不同產品之間難以直接比較,而且實際使用時的速度,往往取決於記憶體容量與頻寬,而非 TOPS。在 16GB 記憶體的筆電上可運行的模型,大多僅限數十億 參數等級,因此若期待與雲端大型模型同等的品質,就會與實際不符。

角色的界線也很明確。NPU 較接近於執行已完成學習的模型的推論專用晶片,而重新訓練或微調模型的工作,仍屬於 GPU 伺服器的職責。因此實務上的判斷不是'NPU 還是 GPU',而是應朝依工作性質分開設計的方向走:內部文件摘要、翻譯、說話者分離等重複且敏感的工作在裝置上處理,需要大型模型的工作則交由雲端處理。

最常見的誤解,是以為買了配備 NPU 的筆電,原本使用的 AI 應用程式就會自動變快。若應用程式與驅動程式不支援 NPU 路徑,運算仍會退回 CPU 執行,結果就是花了昂貴的設備費,卻只換來風扇噪音增加與電池耗損。實際上,採購簽呈上寫的效益未經驗證,導致隔年預算被砍的案例並不少見。另外,即使是裝置端(On-device)設備,也不代表所有處理都會留在裝置內。若應用程式內部仍會呼叫雲端,資安效益就等於零,因此在採購前,需要建立一道程序:先以書面向廠商確認「我們使用的那款應用程式是否會使用 NPU」。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
如果 CPU 是什麼都能做的萬能辦公室人員,那 NPU 就像只鑽研一種運算的專業工匠,能以壓倒性的速度與較低的成本完成那項工作。
為什麼在實務上很重要
在端側 AI 與 AI 電腦逐漸成為職場標準的今天,無論是員工數位素養教育,或是 IT 資產導入決策,NPU 都是必須了解的基礎概念。
⚠️ 常見誤解
有一種誤解認為'NPU 會取代 GPU',但大規模 AI 訓練仍屬於 GPU 的領域,而 NPU 則是以低功耗負責裝置內的推論,兩者是互補關係。
由來與出處

此概念隨著深度學習普及而誕生。為了比 CPU、GPU 更有效率地處理 AI 運算,自 2010 年代中期起,專用加速器的開發全面展開。之後智慧型手機的 AP 開始搭載神經網路處理器,目前已擴散至行動裝置、個人電腦與伺服器等各個領域。

出處 · 深度學習時代的 AI 專用加速器(AI accelerator)發展脈絡 · 查看原文
透過案例理解

以下以虛構案例說明。全體員工 620 人規模的汽車零件製造商 A 公司,迎來了 2019 年配發的 380 台筆電的汰換時機。負責處理設計圖與合作廠商單價表的部門,因有「禁止將內部文件上傳至外部 AI 服務」的資安規定,實際上幾乎沒有使用 AI。資訊策略小組歷經 4 個月,評估導入搭載 NPU 的 AI 電腦。

  1. 資訊策略組長向各部門收集「想用 AI 卻因規定而無法使用的工作」,共收到 32 件,其中會議紀錄撰寫、外語郵件翻譯、規格書摘要三項就占了需求的一半以上。
  2. 採購組只看報價單上的「45 TOPS」這個數字就想選機型,但組長表示:「應先確認我們每天使用的群組軟體與 PDF 檢視器是否真的會用到 NPU」,並要求三家廠商提供支援應用程式清單。
  3. 先向設計團隊與採購團隊的 40 名人員配發 40 台筆電,進行為期 8 週的試行,並以既有的 10 台筆電作為對照組,以相同標準測量電池續航時間與文件摘要的處理時間。
  4. 第 4 週有人反映「按下摘要按鈕後,風扇還是一直轉」,查證後發現該應用程式是以 CPU 運算,更新驅動程式與應用程式版本後,NPU 路徑才終於啟用。
  5. 確定導入後,與人資部門合作舉辦 3 場 2 小時的實作教育,共 190 人參加,並向各部門發放一張標示「這份文件用裝置處理,這項工作用雲端」的一頁式基準表。
  6. 8 週後,每場會議的會議紀錄整理時間平均從 35 分鐘縮短為 9 分鐘;在遵守資安規定的前提下,可處理的文件類型也增加,每年節省約 KRW 19,000,000 (≈ US$14,200) 的外部 AI 訂閱預算。
相關術語
與此術語相關的課程
📚輕鬆學半導體 – 重點一次掌握!Nanum 經營顧問 企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

GPU 是從圖形處理出發的通用平行處理器,廣泛用於 AI 訓練與推論;NPU 則是從一開始就專為神經網路運算設計,能以少得多的電力處理相同的 AI 工作。大規模訓練通常由 GPU 負責,裝置端推論則由 NPU 負責,是常見的分工格局。
端側 AI 是不經過伺服器,直接在裝置本身執行 AI 的方式,而 NPU 是實現這一點的核心零件。要讓電池供電的裝置持續運行 AI,就需要低功耗的專用處理器。
即時翻譯、會議字幕、文件摘要、圖像生成與修圖等 AI 功能,無需網路連線或雲端費用,即可在裝置上處理。此外,敏感的內部文件不必傳送至外部伺服器,也具有資安上的優點。
通常以 TOPS(每秒兆次運算)為單位標示,數字越大,AI 運算處理能力越高。不過實際的體感效能也大幅取決於軟體最佳化,因此僅憑數字很難直接比較。