私有 AI · 地端 LLM
Private AI / On-premise Large Language Model
什麼是私有 AI?
- 不將資料傳送至外部的 AI 運用
- 以地端・私有雲阻斷外洩
- 結合 RAG 活用自家資料,代價是成本
導入私有 AI 時,最先改變的不是模型性能,而是 資安團隊與業務現場之間的討論內容。過去只靠一張「禁止使用外部 AI 服務」的公文就結束的討論,會轉變為依資料等級逐一確認可以用到什麼程度的實務協商。與其說是技術選擇,不如說 是把資料外送的核准權限拉回公司內部的決定。
現場所謂的「私有」,大致分為三層。在企業機房機架上直接安裝 GPU 的完全 地端部署;在 雲端 業者的專用 VPC 內啟動模型實例的私有雲;以及在商用 API 上加掛不用於 訓練、不保存(Zero Retention)合約的方式。成本由高到低,掌控權則逐步變薄。應先確認法規文件實際要求的水準,才能避免過度投資。若要以 量化 後的 20B 級模型支撐 30~50 名同時使用者,通常需要 80GB GPU 1~2 張,但 往往三年的營運與更新人力成本,比設備採購費用更高。
另有兩個容易混淆的界線。其一是把私有 AI 與 微調 視為同一回事,但把模型放在我們的 伺服器 上,與用我們的資料對模型進行額外訓練,是兩件不同的事;而內部知識的運用,大多只需 不微調、僅以 RAG 即可解決。另一個是與網路隔離的關係:若放在完全封閉的網路中,雖然能阻擋外部外洩,但修補與模型更替全部得靠人工處理,因此要承擔 半年後性能就落後市場平均水準的負擔。
最常見的事故,是誤以為「放進邊界內就安全」。對外洩漏雖然擋住了,卻漏掉內部權限設計,結果人事考核文件或高階主管會議紀錄混入索引,全體員工只要搜尋一次就能調閱,這種事確實會發生。風險的重心只是從外部轉移到內部,此外還要一併計算:若只部署小型模型,卻期待商用服務等級的回答,業務單位常在兩個月內就停止使用。
| 比較 | 公開 AI 服務 | 私有 AI |
|---|---|---|
| 資料位置 | 傳送至外部伺服器 | 維持在內部・專用環境 |
| 資安・法規 | 存在外洩・違規風險 | 以邊界管控將風險降至最低 |
| 成本・營運 | 低・可立即使用 | 高・需要管理基礎設施 |
「私有 AI」一詞隨著生成式 AI 在企業快速普及而興起:企業擔心敏感資料透過公開 API 外洩,因而要求「在受控環境中運用 AI」。開源 LLM 效能提升,以及地端部署工具的進步,也支撐了這股趨勢。
以下以假設案例說明。A 公司是汽車零件製造商,擁有 620 名全體員工,年營收規模為 KRW 410,000,000,000 (≈ US$306,872,400)。資安檢查中查獲研究所工程師 3 次將圖面規格與不良分析資料貼入公開聊天機器人的跡象,資安部門因此全面阻斷公司 AI 連線。3 個月後,研究所所長提出「照這樣下去,只會讓競爭對手更快」的問題,並列入經營會議議程。
- 資安部門主管將內部文件 12 萬份分為 3 個等級。圖面與成本資料列為 1 級,內部規章與教育資料列為 3 級,並劃下 「只有 1 級在內部運作」的界線。
- CIO 放棄了完全地端的方案,改選擇國內雲端的專用 VPC。租用 2 張 GPU 並搭載開源模型,將建置預算由原報價 KRW 400,000,000 (≈ US$299,400) 降至 KRW 120,000,000 (≈ US$89,800)。
- 研究所文件負責人在將 3 萬份圖面說明書納入索引時,把高階主管會議紀錄與人事檔案另外分到獨立的權限群組。「先把不該被搜尋到的資料夾移出去」是他開口的第一句話。
- 品質團隊 30 人進行了為期 4 週的試行。初期有一半的意見是「回答模糊不清」,直到每則回答都附上依據文件的連結、並調整切塊大小之後,才出現「這樣的水準可以用」的回應。
- 6 個月後,使用者增至 420 人,不良原因查詢原本平均需 40 分鐘,縮短為 8 分鐘。外部聊天機器人貼上資料的違規紀錄,也從半年 3 件降到 0 件。
Sung-il Kim
Ara Im