小型言語モデル · sLM
Small Language Model
小型言語モデルとは?
- 小型で軽量な言語モデル
- 低コスト・高速・オンデバイス
- 特定用途にファインチューニング
sLMが実際に変えるのはモデルの性能表ではなく、AI導入の決裁ラインです。巨大モデルは呼び出し1回ごとにコストがかかり、データも社外に出るため、法務・セキュリティ審査が先に立ちはだかります。一方、数GBのモデルなら社内のサーバーや業務用ノートPCに載せて動かせるため、大型契約を結ばなくてもチーム単位でまず試してみる余地が生まれます。「まず試して判断する」という順番が可能になること、これが現場で実感される最大の違いです。
規模感をつかんでおくと判断しやすくなります。一般に1B〜10Bパラメータ級をsLMと呼び、FP16基準の7Bモデルは約14GBのメモリを使いますが、量子化してINT4にすると4GB台まで下がり、ノートPCや最新のスマートフォンでも動きます。ここでのポイントはサイズではなく役割分担です。社内文書を探して読み、決まった書式にまとめる仕事はsLMとRAGの組み合わせで十分ですし、複数の段階をさかのぼる原因分析や長文の企画のようにモデルの「頭脳」が必要な仕事は、今も巨大モデルの役目です。
sLMがうまく機能する業務には共通点があります。入力の形が一定で、正解の範囲が狭く、1日に何百回も繰り返されるという点です。顧客問い合わせの分類、相談の録音の要約、コードの自動補完、設備のエラーコード案内がこれに当たります。反対に質問が毎回変わる仕事は、小さなモデルがすぐに限界を見せます。導入判断の基準はシンプルです。同じタイプの質問が月1,000件を超えるか、そしてその答えを自社の文書で検証できるか、です。
最も多い誤解は「小さいから安い」です。モデルの値段は安くても、ファインチューニング用のデータを作って管理する人の人件費はそのままかかります。QAを数千組作るのに現場の人員が数週間張り付き、製品や社内規程が変わるたびに再学習を回し直す必要があります。さらに危険なのは評価セットなしでモデルを入れ替えることです。sLMは知らないことを知らないと言う力が弱く、間違った答えもそれらしい文章で出してきます。固定問題200〜300問の採点表を先に作っておかないと、品質が落ちた事実を顧客クレームで知ることになります。
巨大モデルのコスト・速度・プライバシーの限界に対する代替案として浮上し、軽量化技術(蒸留・量子化)の発展とともに注目されています。
仮想の事例で見てみましょう。自動車部品を作るA社は、役職員380名、年商950億ウォン(約1,136,105万円)規模です。工場の内部ネットワークは外部インターネットから遮断されているため、現場の作業者は設備にエラーが出ると、紙のマニュアルを探すか生産技術チームに電話するしかありませんでした。設備1台が止まるたびに平均14分が、そのまま失われていました。
- 生産技術チームのキム・チーム長が3週間にわたる現場の質問1,840件を集めたところ、78%がエラーコードの解釈や部品交換周期といった繰り返しの問い合わせでした。
- 「工場の図面が社外に出るのは決裁を上げられない」と情報保安チーム長に釘を刺され、7BモデルをINT4に量子化して工場のサーバー1台に載せる方向に切り替えました。
- 設備マニュアル2,300ページと6年分の保全履歴を整理してQA 4,000組を作り、2週間ファインチューニングしましたが、初回の正答率は61%にとどまりました。
- 現場の班長12名が2週間使ってみて誤答340件にフラグを立て、それを再学習に入れたところ、正答率は61%から88%に上がりました。
- 「この不良の根本原因を分析してほしい」のような推論の質問は、ずっと的外れな答えを返すため、月40〜50件しかないこの種類だけ、セキュリティ審査を経た外部LLMに回す2段構成に分けました。
- 6か月後、設備問い合わせの待ち時間は14分から3分に減り、クラウドAPIで全量処理した場合の推定コスト月1,900万ウォン(約227万円)の代わりに、サーバーの減価償却込みで月210万ウォン(約25万円)で回っています。
- 特定用途にファインチューニングするとき
- コスト・速度・プライバシーが重要
- オンデバイスで動かすべきとき
- 多様で複雑な汎用タスク
- 最高性能が最優先のとき
- 用途が頻繁に変わる場合
金鍾赫
キム・ソンイル