量子化・軽量化
Quantization
量子化とは?
- 数値の精度を下げてサイズ・演算量↓
- 性能を保ったまま軽く
- オンデバイスの基盤
量子化が実際に変えるのは、モデルの賢さではなく動かせる場所とコストです。fp16で70億パラメータのモデルを載せるにはVRAM 14GBが必要で、専用のGPUサーバーを借りなければなりませんが、4ビットに減らせば4GB台に収まり、社内のワークステーションや業務用ノートPCにも入ります。そのため議論の焦点は「より良いモデルを使うか」から「自社の機器に収まるか」へ移ります。月数百万ウォン規模のGPUレンタル料が機器1台の購入費に置き換わり、外部APIを使えないクローズドネットワークの工場や病院でAI導入が始まるのも、たいていこの地点です。
実務では大きく二つに分かれます。すでに学習済みのモデルを事後に縮める学習後量子化(PTQ)は数時間で終わるため、大半の導入課題はここから始まります。一方、学習段階で精度損失をあらかじめ反映する量子化認識学習(QAT)は再学習のコストが大きいものの、4ビット以下でも品質を保てます。数字で見ると、8ビットは損失がほぼない安全な初期値で、4ビットは容量を4分の1に減らす代わりに、タスクごとのばらつきが大きくなります。重みだけを縮めるか、活性値まで縮めるかも分かれ道で、速度が実際に上がるのは後者です。枝刈りや知識蒸留とは別の軸なので、組み合わせて使えます。
最もよくある誤解は「ベンチマークのスコアが同じなので品質も同じ」という判断です。平均スコアは1〜2%しか下がらなくても、品番・口座番号・日付のように数字と固有名詞を正確に写す必要がある作業にエラーが集中し、文脈が長くなるほど差は広がります。ハードウェアも変数で、INT4演算に対応しない旧型GPUでは変換・復元が挟まり、かえって遅くなることもあります。そのため精度は公開指標ではなく、自社の業務データで作った独自の質問セットで選ぶべきで、この検証を飛ばすとコストは下がったのに現場が答えを信用せず、誰も使わないシステムが残ります。
信号処理・コンピューティングで古くからある量子化の概念を深層学習に応用したもので、大型モデルを効率的に配布する必要から広く使われるようになりました。
仮想の事例で見ていきます。従業員420名、年商1,800億ウォン(約2,152,621万円)規模の自動車部品メーカーA社の話です。設備マニュアルと作業標準書を探してくれる社内チャットボットをクラウドGPUで6か月間運用していましたが、月費用は1,180万ウォン(約141万円)まで上がっていました。しかも質問が最も多い2工場は、セキュリティ上外部網が遮断された閉鎖網のため、チャットボットを使うこともできませんでした。
- 情報戦略チームのキム課長が費用明細と接続ログを抽出すると、月1,180万ウォン(約141万円)のうち半分が夜間の遊休時間帯の料金で、2工場の接続件数は0件でした。
- 外部コンサルタントが既存の13Bモデルを4ビットに縮小したバージョンも併せて載せ、2週間並べて動かしたところ、VRAM使用量が26GBから8GBに下がり、倉庫にあったワークステーションにそのまま載りました。
- 生産技術チーム長が'設備コード M-2270 を毎回 M-227 と切って読んでいる'と指摘すると、キム課長は品番と規格数値が混ざった実際の質問200件を別に集め、正答率を測り直しました。
- 4ビットは81%、8ビットは93%と差が出ると、A社は8ビットに一段階引き下げ、代わりに頻度上位30件の質問は回答をキャッシュに入れて体感速度を補いました。
- 6週間後、チャットボットは工場内のワークステーション2台で動くようになり、月間GPU費用は1,180万ウォン(約141万円)から190万ウォン(約23万円)に、平均応答時間は3.4秒から2.1秒に短縮されました。2工場の月間利用件数は0件から1,400件になりました。
キム・ソンイル
イム・アラ