知識 · AI 基礎

邊緣 AI · 裝置端 AI

Edge AI / On-Device AI

📂AI 基礎⏱閱讀 2 分鐘📊實務🔗相關 4

什麼是邊緣 AI?

一句話定義
不在雲端,而是直接在裝置(手機、感測器、汽車)本身執行 AI 的方式。速度快,也有利於隱私保護。
此主題,導入企業內訓📚 相關課程💬 教育諮詢
⚡ 3 行重點摘要
  • 直接在裝置上執行 AI
  • 速度快,有利隱私保護
  • 需要輕量化技術

導入邊緣 AI,並不只是更換模型,而是重新劃定系統的邊界。一旦決定哪些資料要留在裝置內、從哪裡開始對外傳送,回應時間、通訊費用、資安審查範圍,以及故障發生時的應變情境,都會一併跟著改變。表面上看是技術選擇,實際上是必須讓基礎架構負責人與品質、法務一起坐下來才能定案的決定。

現場通常分成三層來看。智慧型手機或相機內,直接以NPU執行的是裝置端 AI;工廠一角的工業電腦或閘道器,把多台設備整合處理的是邊緣伺服器;負責再訓練與大量資料分析的則是雲端。要把模型放到裝置上,必須以 INT8 量化,或透過剪枝、知識蒸餾來縮減模型。代價是容量可縮減至幾分之一,準確率通常會損失 1~3 個百分點。把來回延遲 200~300 毫秒的判斷,縮短到數十毫秒,就是願意承擔這項損失的理由。

最常見的誤解是'裝置上執行,隱私問題就解決了'。裝置若遺失或遭竊,裡面的資料與模型會整包外流;也有人會拆解模型檔案,試圖反推訓練資料。第二個誤解是沒有把 部署 之後的情況納入計算。雲端只要修正一台伺服器就完成,但散布在現場的 3,000 台裝置,若沒有 OTA 更新機制與版本管理,舊版模型會連續好幾個月重複同樣的誤判。此外,裝置因發熱而自行降低效能,早上判定正確、到中午就出錯的情況也很常見。在決定採用邊緣或雲端之前,最好先定下這台裝置未來幾年由誰負責管理。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
不傳到伺服器,直接在手機內處理——速度快,資料也不會外流。
為什麼在實務上很重要
在需要速度、隱私保護或離線運作的場合,改在裝置上執行 AI,而非仰賴雲端。
由來與出處

隨著 IoT 與行動裝置普及,加上 AI 輕量化技術進步,直接在裝置上進行推論的方式逐漸崛起。

透過案例理解

以下透過假設案例說明。A 公司生產汽車零件,全體員工 320 人,年營收約 KRW 90,000,000,000 (≈ US$67,362,200)。為了抓出塗裝表面瑕疵,他們把產線攝影機的影像傳到雲端判定,來回延遲超過 0.4 秒,結果回傳時輸送帶早已送到下一道工序。3 個月間漏掉的瑕疵回流成重工,每月超過 KRW 20,000,000 (≈ US$15,000) 的成本。

  1. 生產技術組 Kim 組長調出產線記錄後發現,延遲區間的 78% 來自網路來回,結論是「與其把模型做得更大,不如移到攝影機旁邊」。
  2. AI 負責人將檢測模型做 INT8 量化,容量縮減為四分之一,準確率則從 96.4% 降至 95.1%。品質組長表示:'誤判變多沒關係,只要漏檢不增加就能接受'。
  3. 在 3 條產線各配置一台工業電腦,改採邊緣伺服器架構,將 4 台攝影機整合管理。每台 KRW 4,800,000 (≈ US$3,590),共計 KRW 14,400,000 (≈ US$10,800),雲端傳輸量由每月 9 TB 降至 0.4 TB。
  4. 資安負責人問到'設備被入侵怎麼辦',於是把模型檔加密與每季 OTA 部署程序寫成文件,並將設備攜出時的初始化規定納入內部守則。
  5. 8 週後,判定延遲從 420ms 降至 35ms,漏檢外流率從 1.8% 降到 0.6%。返工成本從每月 KRW 20,000,000 (≈ US$15,000) 上下降到 KRW 7,000,000 (≈ US$5,240) 上下,投資費用在 4 個月內即回收。
相關術語
相關 AI 工具
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

雲端在伺服器上執行,邊緣則在裝置上執行。邊緣速度更快,也更有利於隱私保護。
裝置的運算與電力有限,需要模型輕量化,且對非常吃重的作業有其極限。
雲端在伺服器上執行,邊緣則在裝置上執行。邊緣速度快,也較有利於隱私保護。
裝置資源有限,因此需要輕量化,而在非常吃重的工作上則有其極限。