トークン化
Tokenization
トークン化とは?
- 文をトークンに分割
- LLMが文章を「読む」最初の段階
- 費用・限界と直結
トークン化が実際に変えるのは「文章の分量を何で測るか」です。人は文字数やページ数で文書を測りますが、モデルの前では、その基準はすべてトークンに換算されます。同じA4一枚でもトークン数は文書ごとにまちまちです — 表が多いか、英語の略語が混ざっているか、改行や空白がどう入っているかによって、2倍近く差が出ます。プロンプトを練るときも、ベンダーの見積もりを検討するときも、計算の単位が文字からトークンへ移ることが最初の変化です。
トークンを作る方式は大きく、単語単位、文字単位、その中間のサブワード方式に分かれますが、現代のLLMは事実上サブワードしか使いません。辞書にない新語や誤字も、既知の断片に分けて処理できるからです。目安となる数値としては、英語は4文字で1トークン、韓国語は1文字で1〜1.5トークン程度が妥当です。同じ内容を盛り込んでも、韓国語の文書は英語より1.5〜2倍のトークンを消費するという意味です。境界も明確にしておく必要があります。トークン化は分割して番号を振るところまでであり、その番号に意味を与えてベクトルにする作業は埋め込みの役目です。
現場で最もよくズレるのは、'文字数がそのままトークン数になる'という思い込みです。韓国語10万字のマニュアルを10万トークンとして年間費用を見積もったところ、請求額が1.5倍になった、という話は珍しくありません。コンテキストウィンドウも同じです。128Kモデルだからといって韓国語12万字が入るわけではなく、入力と出力が同じウィンドウを分け合うため、資料をウィンドウの末尾まで詰め込むと回答が途中で切れます。表・JSON・マークダウン記号は見た目の分量よりトークンを多く消費するため、RAGのチャンクサイズを文字数で固定しておくと、検索段階で文書の後半が音もなく切り捨てられます。
自然言語処理(NLP)の基礎的な前処理手法で、サブワードトークン化(BPEなど)が現代のLLMの標準方式として定着しています。
仮想の事例で見てみましょう。役職員320名規模の家電部品メーカーA社は、昨年10月からCS相談履歴をLLMで要約し、週次レポートを作成してきました。3か月でAPI費用が月480万ウォン(約57万円)まで上がり、長い相談案件では要約から後半が丸ごと抜け落ちることが繰り返されました。
- 情報戦略チームのキム課長がAPI呼び出しログを確認したところ、相談1件あたりの平均入力は3,800トークンでした。韓国語の原文は1,900字しかないのに、HTMLタグと連続する空白がそのまま混入していたのです。
- キム課長がトークナイザーでサンプル200件を直接数えた結果、ハングルは1文字が1〜2トークンであり、タグや空白もそれぞれトークンを占めることが数字で確認されました。
- CSチーム長は「原文を丸ごと入れた方が正確なのでは」と言いましたが、直前3か月の要約で実際に引用された区間が会話の後半40%に集中しているという集計を見て、前処理の範囲を切り詰めました。
- タグ除去と挨拶・自動応答文のフィルターを加え、平均入力を1,500トークン台まで減らしました。8,000トークンを超える案件は2回に分けて呼び出し、後で結合する方式にパイプラインを変更しました。
- 2か月後、API費用は月480万ウォン(約57万円)から171万ウォン(約20万円)に下がり、後半が切れて要約が抜けていた案件は週11件から1件に減りました。
金鍾赫
キム・ソンイル