GPU · AI 半導體
Graphics Processing Unit / AI Chip
什麼是 GPU?
- 以數千個核心同時運算的平行運算半導體
- 左右 AI 訓練與推論速度的核心硬體
- 也可以不自行購買,改用雲端租用
導入 GPU 後,AI 專案的瓶頸會轉移。過去會議的一半在討論『要用哪個模型』,現在則是『那個實驗要等哪一天 GPU 才有空』決定了時程表。運算資源的排隊,就是開發的時程。同樣的模型、同樣的資料,只要 GPU 分配晚了兩週,試點報告也會晚兩週。取得 GPU 代表還能再多做幾次實驗;沒取得則代表點子會在排隊中過期。因此現場討論 GPU 時,不是技術選擇,而是預算、時程與資安同時牽動的決策,才會被提上檯面。
GPU 的性格會依用途而不同。訓練(training)需要數十到數百小時的集中運算,適合短期租用高效能顯卡;推論(inference)則是整天以低負載運行,適合常態運作的伺服器。決定規格的實際標準通常是 VRAM(顯示記憶體)容量。參數為 70 億個的模型若以 16 位元載入,光是權重就需要約 14GB,加上餘裕後,24GB 等級通常是實務上的下限。另外,GPU 與 AI 半導體並不是同一個概念。NPU、TPU 等專為特定運算設計的晶片,每瓦效能較好,但勝負往往取決於 CUDA 等軟體生態系相容性,而非效能數字。
現場最常出現偏差的地方,是『GPU 卡的價格=導入成本』這個算法。一台資料中心級 GPU 伺服器,機櫃功率就達數 kW,並會產生大量熱能,若直接插進既有機房,斷路器會跳脫,或空調撐不住。電力增設、空調與機房空間工程費往往事後才加上,因此最初的簽呈常需要重寫。更常見的誤解是『先買下來總會用到吧』。若一個組織每月的訓練需求只有幾天,先買伺服器的話,使用率只會停在個位數,從那時起 GPU 就不再是策略資產,而是需要折舊的負擔。反過來,也有不少案例是未經審查就把敏感資料放上外部雲端,結果被內部稽核指出,專案被迫歸零重來。
| 比較 | CPU | GPU |
|---|---|---|
| 核心配置 | 少數強大的核心 | 數千個簡單核心 |
| 處理方式 | 複雜任務的循序處理 | 簡單運算的大規模平行處理 |
| AI 中的角色 | 控制・一般運算 | 訓練・推論的核心引擎 |
GPU 於 1999 年因 NVIDIA 推出「GeForce 256」而普及,成為專門處理圖形的處理器。之後在 2012 年,深度學習模型 AlexNet 以 GPU 完成訓練,並在影像辨識競賽中取得壓倒性成績,使 GPU 確立為 AI 運算標準硬體的關鍵契機。
我們以一個假設案例來看。全體員工 420 人、年營收 KRW 180,000,000,000 (≈ US$134,724,500) 規模的汽車零件製造商 A 公司,在同一季同時推動設備異常偵測模型與公司內規章聊天機器人。資訊策略組提出採購兩台每台 KRW 30,000,000 (≈ US$22,500) 的 GPU 伺服器的簽呈,但 CFO 反問「那東西一週用幾個小時?」,並暫緩核准。
- 資訊策略組長花了兩週回顧研究筆記與作業紀錄後發現,用於訓練的時間每月僅 40 小時左右,其餘全都是輕量的推論請求。
- 生產技術組的課長把異常偵測模型放在雲端 GPU 上運行,6 週就完成訓練,使用費為 KRW 1,800,000 (≈ US$1,350)。如果改為購買伺服器,就可能會有 KRW 60,000,000 (≈ US$44,900) 被占用。
- 相對地,聊天機器人需要讀取人事與合約文件,法務組因此反對資料外流。依據「一張 24GB 顯卡就能跑 7B 模型推論」的實測結果,最後只導入了 1 台自建伺服器。
- 真正要進設備時,機房機櫃的允許電力只有 3kW,斷路器撐不住。設施組為了增設電力與加強空調,又多花了 KRW 11,000,000 (≈ US$8,230),而這筆費用原本不在最初的簽呈裡。
- 6 個月後,將訓練放在雲端、推論改由自建伺服器處理,年度預估費用從 KRW 98,000,000 (≈ US$73,300) 降到 KRW 34,000,000 (≈ US$25,400),聊天機器人的平均回應時間也從 6 秒縮短為 1.8 秒。
Ja-ryong Gu
Seung-tae Park