プライベートAI · オンプレミスLLM
Private AI / On-premise Large Language Model
プライベートAIとは?
- 外部にデータを出さないAI運用
- オンプレミス・プライベートクラウドで流出を遮断
- RAGを組み合わせて自社データを活用、費用はその代償
プライベートAIを導入して最初に変わるのは、モデル性能ではなくセキュリティチームと現場がやり取りする会話の中身です。それまで「外部AIサービス禁止」という通達一枚で終わっていた議論が、データの等級ごとにどこまで投入できるかを詰める実務協議に変わります。技術選択というよりデータ持ち出しの承認権限を社内に引き戻す決定に近いです。
現場で「プライベート」は大きく3つの層に分かれます。社内ラックにGPUを直接挿す完全オンプレミス、クラウド事業者の専用VPC内にモデルインスタンスを立てるプライベートクラウド、商用APIに学習不使用・無保存(Zero Retention)契約を付ける方式の順に、コストは下がり統制力は薄くなります。規制文書が実際に求めるレベルを先に確認しないと過剰投資になります。20B級モデルを量子化して同時利用者30〜50名を賄うには、通常80GB GPUが1〜2枚必要ですが、機器購入費より3年分の運用・アップデートの人件費の方が大きいケースが多いです。
紛らわしい境界も2つあります。一つは、プライベートAIとファインチューニングを同じ意味で使うケースです。モデルを自社のサーバーに置くことと、自社データでモデルを追加学習させることは別物で、社内ナレッジの活用は大半がファインチューニングなしのRAGだけで解決できます。もう一つはネットワーク分離との関係です。完全に閉じたネットワークに置けば外部流出は防げますが、パッチ適用とモデル入れ替えがすべて手作業になり、半年で性能が市場平均に後れを取る負担を抱えることになります。
最も多い事故は「境界の内側に入れたから安全だ」という思い込みです。外部への流出は防げても、内部の権限設計を見落とすと、人事評価文書や役員会議録がインデックスに混ざり、全社員が検索一回でそれを取り出して見てしまう事態が実際に起きています。リスクの重心が外部から内部へ移るだけだという点、そして小さなモデルを入れておいて商用サービス並みの回答を期待し、現場が2か月でアクセスをやめてしまうケースが多いという点も、あわせて計算しておく必要があります。
| 区分 | 公開AIサービス | プライベートAI |
|---|---|---|
| データの所在 | 外部サーバーへ送信 | 社内・専用環境に維持 |
| セキュリティ・規制 | 流出・違反リスクあり | 境界統制でリスクを最小化 |
| 費用・運用 | 低い・即時使用 | 高い・インフラ管理が必要 |
プライベートAIという言葉は、生成AIが企業に急速に広がるなかで、公開APIを通じた機密データの流出を懸念した企業が「統制された環境でのAI運用」を求めるようになって広まりました。オープンソースLLMの性能向上と、オンプレミス導入ツールの発達がこの流れを後押ししました。
架空の事例で見てみましょう。従業員620名、年間売上4,100億ウォン(約4,903,192万円)規模の自動車部品メーカーA社です。研究所のエンジニアが公開チャットボットに図面の仕様や不良分析データを貼り付けた形跡が、セキュリティ点検で3件見つかり、情報保護チームは全社のAI接続を遮断しました。3か月後、「このままでは競合にばかり先を越される」という研究所長の問題提起が経営会議にかけられました。
- 情報保護チーム長が社内文書12万件を3等級に分けました。図面・原価は1等級、社内規程や教育資料は3等級に置き、「1等級だけを社内で動かす」という線を引きました。
- CIOが完全オンプレミスを取りやめ、国内クラウドの専用VPCを選択しました。GPU 2枚のレンタルにオープンソースモデルを載せ、構築予算を4億ウォン(約4,784万円)の見積もりから1億2,000万ウォン(約239万円)へ引き下げました。
- 研究所の文書担当者が図面説明書3万件をインデックスに載せる際、役員会議録と人事ファイルは別の権限グループに分けました。「検索されてはいけないフォルダから先に取り除きました」が最初の一言でした。
- 品質チーム30名が4週間にわたりパイロットを実施しました。当初は'回答があいまいだ'という不満が半分を占めましたが、回答ごとに根拠文書のリンクを付け、チャンクサイズを調整した後になって、ようやく'この程度なら使える'という反応が出ました。
- 6か月後、利用者は420名に増え、不良原因の照会にかかっていた平均40分は8分に短縮されました。外部チャットボットへの貼り付けによる摘発は、半期3件から0件に減りました。
キム・ソンイル
イム・アラ