LLM・大規模言語モデル
Large Language Model
LLMとは?
- 膨大なテキストで「次の言葉」を予測
- 文章を生成する大規模ニューラルネットワーク
- ChatGPTとClaudeの頭脳
LLMが実際に変えたのは回答の品質ではなく、仕事の指示の仕方です。以前は問い合わせメールを種類別に分ける機能ひとつを作るにも、ルールをコードで書き、例外を一つずつ登録しなければなりませんでした。今は指示文と例を数個示すだけで同じことを始められます。そのため自動化の出発点が開発部門ではなく、業務を最もよく知る実務担当者の側へ移ってきました。その代わり結果の品質はコードではなく文章に左右されるようになり、どこまで信頼して外に出すかを判断する負担も現場が一緒に負うことになりました。
実務では少なくとも三つを区別する必要があります。モデルが一度に見られる分量であるコンテキストウィンドウは製品によって数万から数十万トークンで(ハングルはおおむね一文字がトークン一つ前後です)、ここに入れた資料はその会話が終わると消えます。学習データには時点の区切りがあるため、先月改定した社内規定や今四半期の単価表は知りません。社内の知識を加える方法はプロンプトに直接入れる、RAGで検索して加える、ファインチューニングで口調や形式を固めるに分かれますが、正確さが目的なら、たいてい RAG が先で、ファインチューニングはその次です。
現場で最もよくズレるのは、「自社の資料を入れたので学習された」という誤解です。チャット画面に貼り付けた文書は学習されたのではなく、一時的に見せただけなので、ウィンドウを閉じるとモデルはその内容を知りません。また、LLMは電卓でもありデータベースでもないため、売上合計や在庫数といった数字はもっともらしく間違えます。同じ質問に毎回違う答えが出るのも故障ではなく、確率で文章をつなぐ仕組みの特性です。これを知らずに回答をそのまま顧客向け見積書や契約文言に移すと、存在しない規定条項や生産終了のモデル番号がそのまま出てしまい、謝罪メールを書くことになります。
| 区分 | LLM(大規模) | sLM(小型) |
|---|---|---|
| 規模 | 数百億以上のパラメータ | 比較的小さい |
| 強み | 汎用・高性能 | 低コスト・高速・オンデバイス |
| コスト | 高い | 低い |
| 用途 | 複雑で多様な作業 | 特定用途のファインチューニング |
今日のLLMの基盤構造であるトランスフォーマー(Transformer)は、2017年にGoogleの研究チームによる論文「Attention Is All You Need」で示され、GPT・Claude・Geminiなどはこの上に作られました。
架空の事例で見てみましょう。産業用部品を流通させるA社は、従業員210名、年売上約1,200億ウォン(約1,435,081万円)規模です。CSチーム6名が1日に140件ほど届く技術問い合わせメールを処理していましたが、繁忙期には返信が2日ずつ遅れ、営業部門からの苦情が絶えませんでした。3か月間、LLMで回答の下書きを作る実験を行いました。
- CSチーム長が直近3か月のメール4,200件を種類別に分けたところ、62%が仕様・互換性の問い合わせで、答えがすでに製品カタログに全部載っている内容でした。
- 情報システム課長がカタログを丸ごと貼り付けて答えを求めたところ、2年前に生産終了したモデルを現行の在庫として説明する回答がそのまま出てきました。
- そこで社内PDF900種余りを先に検索し、根拠となる段落だけを選んで一緒に渡す方式に変え、回答の末尾に出典の文書名とページを付けるようにしました。
- 営業本部長が「出典のない回答は絶対に出すな」と明確に定め、根拠が見つからない場合は下書きの代わりに「担当者による確認が必要」とだけ表示されるよう制限しています。
- 3か月後、1件あたりの平均応答時間は18分から6分に減り、下書きをほぼそのまま送信した割合は74%、誤答で戻ってきたメールは月31件から7件になりました。
金鍾赫(キム・ジョンヒョク)
パク・ソリョン