邊緣 AI · 裝置端 AI
Edge AI / On-Device AI
什麼是邊緣 AI?
- 直接在裝置上執行 AI
- 速度快,有利隱私保護
- 需要輕量化技術
導入邊緣 AI,並不只是更換模型,而是重新劃定系統的邊界。一旦決定哪些資料要留在裝置內、從哪裡開始對外傳送,回應時間、通訊費用、資安審查範圍,以及故障發生時的應變情境,都會一併跟著改變。表面上看是技術選擇,實際上是必須讓基礎架構負責人與品質、法務一起坐下來才能定案的決定。
現場通常分成三層來看。智慧型手機或相機內,直接以NPU執行的是裝置端 AI;工廠一角的工業電腦或閘道器,把多台設備整合處理的是邊緣伺服器;負責再訓練與大量資料分析的則是雲端。要把模型放到裝置上,必須以 INT8 量化,或透過剪枝、知識蒸餾來縮減模型。代價是容量可縮減至幾分之一,準確率通常會損失 1~3 個百分點。把來回延遲 200~300 毫秒的判斷,縮短到數十毫秒,就是願意承擔這項損失的理由。
最常見的誤解是'裝置上執行,隱私問題就解決了'。裝置若遺失或遭竊,裡面的資料與模型會整包外流;也有人會拆解模型檔案,試圖反推訓練資料。第二個誤解是沒有把 部署 之後的情況納入計算。雲端只要修正一台伺服器就完成,但散布在現場的 3,000 台裝置,若沒有 OTA 更新機制與版本管理,舊版模型會連續好幾個月重複同樣的誤判。此外,裝置因發熱而自行降低效能,早上判定正確、到中午就出錯的情況也很常見。在決定採用邊緣或雲端之前,最好先定下這台裝置未來幾年由誰負責管理。
隨著 IoT 與行動裝置普及,加上 AI 輕量化技術進步,直接在裝置上進行推論的方式逐漸崛起。
以下透過假設案例說明。A 公司生產汽車零件,全體員工 320 人,年營收約 KRW 90,000,000,000 (≈ US$67,362,200)。為了抓出塗裝表面瑕疵,他們把產線攝影機的影像傳到雲端判定,來回延遲超過 0.4 秒,結果回傳時輸送帶早已送到下一道工序。3 個月間漏掉的瑕疵回流成重工,每月超過 KRW 20,000,000 (≈ US$15,000) 的成本。
- 生產技術組 Kim 組長調出產線記錄後發現,延遲區間的 78% 來自網路來回,結論是「與其把模型做得更大,不如移到攝影機旁邊」。
- AI 負責人將檢測模型做 INT8 量化,容量縮減為四分之一,準確率則從 96.4% 降至 95.1%。品質組長表示:'誤判變多沒關係,只要漏檢不增加就能接受'。
- 在 3 條產線各配置一台工業電腦,改採邊緣伺服器架構,將 4 台攝影機整合管理。每台 KRW 4,800,000 (≈ US$3,590),共計 KRW 14,400,000 (≈ US$10,800),雲端傳輸量由每月 9 TB 降至 0.4 TB。
- 資安負責人問到'設備被入侵怎麼辦',於是把模型檔加密與每季 OTA 部署程序寫成文件,並將設備攜出時的初始化規定納入內部守則。
- 8 週後,判定延遲從 420ms 降至 35ms,漏檢外流率從 1.8% 降到 0.6%。返工成本從每月 KRW 20,000,000 (≈ US$15,000) 上下降到 KRW 7,000,000 (≈ US$5,240) 上下,投資費用在 4 個月內即回收。
金鍾赫
Seong-il Kim