知識 · IT・資料・DX

GPU · AI 半導體

Graphics Processing Unit / AI Chip

📂IT・資料・DX⏱閱讀 2 分鐘📊入門🔗相關 4

什麼是 GPU?

一句話定義
GPU(圖形處理器,Graphics Processing Unit)是以數千個運算核心同時處理相同計算的平行運算半導體,是支撐當今 AI 訓練與推論的核心硬體。
此主題,可辦理企業內訓📚 相關課程💬 教育訓練洽詢
⚡ 3 行重點摘要
  • 以數千個核心同時運算的平行運算半導體
  • 左右 AI 訓練與推論速度的核心硬體
  • 也可以不自行購買,改用雲端租用

導入 GPU 後,AI 專案的瓶頸會轉移。過去會議的一半在討論『要用哪個模型』,現在則是『那個實驗要等哪一天 GPU 才有空』決定了時程表。運算資源的排隊,就是開發的時程。同樣的模型、同樣的資料,只要 GPU 分配晚了兩週,試點報告也會晚兩週。取得 GPU 代表還能再多做幾次實驗;沒取得則代表點子會在排隊中過期。因此現場討論 GPU 時,不是技術選擇,而是預算、時程與資安同時牽動的決策,才會被提上檯面。

GPU 的性格會依用途而不同。訓練(training)需要數十到數百小時的集中運算,適合短期租用高效能顯卡;推論(inference)則是整天以低負載運行,適合常態運作的伺服器。決定規格的實際標準通常是 VRAM(顯示記憶體)容量。參數為 70 億個的模型若以 16 位元載入,光是權重就需要約 14GB,加上餘裕後,24GB 等級通常是實務上的下限。另外,GPU 與 AI 半導體並不是同一個概念。NPU、TPU 等專為特定運算設計的晶片,每瓦效能較好,但勝負往往取決於 CUDA 等軟體生態系相容性,而非效能數字。

現場最常出現偏差的地方,是『GPU 卡的價格=導入成本』這個算法。一台資料中心級 GPU 伺服器,機櫃功率就達數 kW,並會產生大量熱能,若直接插進既有機房,斷路器會跳脫,或空調撐不住。電力增設、空調與機房空間工程費往往事後才加上,因此最初的簽呈常需要重寫。更常見的誤解是『先買下來總會用到吧』。若一個組織每月的訓練需求只有幾天,先買伺服器的話,使用率只會停在個位數,從那時起 GPU 就不再是策略資產,而是需要折舊的負擔。反過來,也有不少案例是未經審查就把敏感資料放上外部雲端,結果被內部稽核指出,專案被迫歸零重來。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
CPU 像是解決困難問題的少數博士,GPU 則像是同時解決大量簡單問題的數千人計算團隊。
為什麼在實務上很重要
AI 的效能與速度,取決於能取得多少、多好的 GPU。在這個時代,GPU 已不只是「運算資源」,而是策略性資產。
CPU vs GPU
比較CPUGPU
核心配置少數強大的核心數千個簡單核心
處理方式複雜任務的循序處理簡單運算的大規模平行處理
AI 中的角色控制・一般運算訓練・推論的核心引擎
由來與出處

GPU 於 1999 年因 NVIDIA 推出「GeForce 256」而普及,成為專門處理圖形的處理器。之後在 2012 年,深度學習模型 AlexNet 以 GPU 完成訓練,並在影像辨識競賽中取得壓倒性成績,使 GPU 確立為 AI 運算標準硬體的關鍵契機。

透過案例理解

我們以一個假設案例來看。全體員工 420 人、年營收 KRW 180,000,000,000 (≈ US$134,724,500) 規模的汽車零件製造商 A 公司,在同一季同時推動設備異常偵測模型與公司內規章聊天機器人。資訊策略組提出採購兩台每台 KRW 30,000,000 (≈ US$22,500) 的 GPU 伺服器的簽呈,但 CFO 反問「那東西一週用幾個小時?」,並暫緩核准。

  1. 資訊策略組長花了兩週回顧研究筆記與作業紀錄後發現,用於訓練的時間每月僅 40 小時左右,其餘全都是輕量的推論請求。
  2. 生產技術組的課長把異常偵測模型放在雲端 GPU 上運行,6 週就完成訓練,使用費為 KRW 1,800,000 (≈ US$1,350)。如果改為購買伺服器,就可能會有 KRW 60,000,000 (≈ US$44,900) 被占用。
  3. 相對地,聊天機器人需要讀取人事與合約文件,法務組因此反對資料外流。依據「一張 24GB 顯卡就能跑 7B 模型推論」的實測結果,最後只導入了 1 台自建伺服器。
  4. 真正要進設備時,機房機櫃的允許電力只有 3kW,斷路器撐不住。設施組為了增設電力與加強空調,又多花了 KRW 11,000,000 (≈ US$8,230),而這筆費用原本不在最初的簽呈裡。
  5. 6 個月後,將訓練放在雲端、推論改由自建伺服器處理,年度預估費用從 KRW 98,000,000 (≈ US$73,300) 降到 KRW 34,000,000 (≈ US$25,400),聊天機器人的平均回應時間也從 6 秒縮短為 1.8 秒。
相關術語
與此術語相關的課程
📚輕鬆學半導體 – 重點一次掌握!Nanum 經營顧問 企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

CPU 是能快速循序處理複雜任務的少數精銳核心,GPU 則是以數千個核心同時處理簡單運算的平行處理器。AI 反覆進行的矩陣運算,GPU 有壓倒性的優勢。
不一定。雲端可以按小時租用 GPU,因此多數企業無需前期投資即可從雲端開始。當用量很大、資料安全又很重要時,才會考慮自行導入。
輝達(NVIDIA)不只掌握 GPU 硬體,還把用於 AI 開發的軟體生態系(CUDA)也納入掌控,實質上主導了 AI 用 GPU 市場。因此爭取 GPU 的競爭,也就等於爭取 NVIDIA 產品的競爭。
訓練(打造模型的過程)需要大量運算,因此會大量需要高效能 GPU。使用已完成的模型進行推論相對輕量,用較低規格或較少數量的 GPU 也能運作。