パラメータ · 媒介変数
Parameters
パラメータとは?
- 学習によって調整されるモデルの内部の値
- 「OO億パラメータ」=規模
- ハイパーパラメータとの区別
パラメータ数が分かるということは、「このモデルを自社で動かせるか」を数字で計算できるということです。重み1つは通常2バイト(FP16)を使うため、70億(7B)モデルは重みだけで約14GB、700億(70B)なら約140GBのメモリを消費します。GPU1枚(24〜80GB)に載せられるか、複数枚を束ねる必要があるかがここで分かれ、その差がそのままサーバーと見積書、応答速度に表れます。パラメータは宣伝文句ではなく、インフラ設計の出発点です。
実務では3つを区別する必要があります。第一に、総パラメータと活性パラメータです。最近よく見られるMoE構造は、全体が数千億でも、トークンを1つ処理するときに実際に動くのは数十億程度なので、規模のわりにずっと安く動きます。第二に、量子化です。16ビットを4ビットに減らすとメモリは約4分の1になりますが、その代わり精度は少し落ちます。第三に、ハイパーパラメータとの境界です。学習率やバッチサイズは人が学習前に決め、学習が終わっても変わりませんが、パラメータは学習中に変わり続け、デプロイの時点で固定されます。ファインチューニングも全体を再学習することは少なく、LoRAのように全体の1%未満だけ手を加える方式が一般的です。
最も壊れやすいのは、「パラメータが多ければ、うちの会社のことも分かっているはず」という期待です。4,000億パラメータのモデルでも、貴社の就業規則と単価表は学習したことがありません。それを知らずに大きなモデルだけ載せておくと、モデルは知ったかぶりでもっともらしい規定をでっち上げ、担当者はそれをそのままメールに貼り付けてしまいます。また、コンテキストウィンドウの長さとパラメータ数を同じ軸で取り違える例も多いです。さらに、コストを抑えようと量子化を強くかけすぎると、普段の会話は問題なくても、金額計算やコードで静かに間違えます。検証項目に数字の問題を必ず混ぜるべき理由です。
ニューラルネットワークの重み・バイアスを指す概念で、モデル規模の競争(パラメータ数の増加)が性能向上につながり、大規模言語モデル時代の核心指標となりました。
仮の事例で見てみましょう。役職員430名規模の自動車部品メーカーA社は、社内規程・技術文書の質疑応答チャットボットを6週間以内に立ち上げることにしました。図面と単価が混在しているため外部APIは使えず、オンプレミスが前提でしたが、「何億パラメータのモデルを使うべきか」をめぐって2か月近く結論が出ませんでした。
- 情報戦略チームのキム部長は、役員から「どうせなら一番大きいモデルを入れてくれ」という指示を受け、70Bモデルで見積もりを出しました。VRAM 140GBを満たすにはGPU 4枚が必要で、サーバー代だけで6,200万ウォン(約741万円)になりました。
- 外部コンサルタントが現場から実際に上がってきた質問300件を抽出したところ、82%が「年次休暇の繰越規程はどうなっていますか?」のような文書照会で、多段階の推論が必要なものは12件だけでした。
- 8Bモデルに社内文書検索(RAG)を組み合わせて同じ300件を解かせたところ、正答率は91%。文書なしで動かした70Bモデルは63%にとどまりました。キム部長は「大きさではなく資料の問題だったんですね」と話しました。
- 4ビットの量子化でメモリを16GBから6GBに減らすと速度は上がりましたが、単価を合算する回答で数字の誤りが3件発生したため、会計・見積もりの質問だけ精度を保ったモデルに振り分けました。
- 結果として、サーバー投資は6,200万ウォン(約741万円)から1,450万ウォン(約173万円)へ、平均応答は4.1秒から1.3秒に縮まり、月の運営費は310万ウォン(約37万円)から88万ウォン(約11万円)になりました。4か月後、実利用者は90名から310名に増えました。
金鍾赫
キム・ソンイル