知識 · AI基礎

トークン化

Tokenization

📂AI基礎⏱読了2分📊実務🔗関連3

トークン化とは?

一行定義
文章をAIが処理できる小さな単位(トークン)に分ける過程。LLMが文章を「読む」最初の段階。
このテーマを社内研修で📚 関連研修💬 研修のお問い合わせ
⚡ 3行要約
  • 文をトークンに分割
  • LLMが文章を「読む」最初の段階
  • 費用・限界と直結

トークン化が実際に変えるのは「文章の分量を何で測るか」です。人は文字数やページ数で文書を測りますが、モデルの前では、その基準はすべてトークンに換算されます。同じA4一枚でもトークン数は文書ごとにまちまちです — 表が多いか、英語の略語が混ざっているか、改行や空白がどう入っているかによって、2倍近く差が出ます。プロンプトを練るときも、ベンダーの見積もりを検討するときも、計算の単位が文字からトークンへ移ることが最初の変化です。

トークンを作る方式は大きく、単語単位、文字単位、その中間のサブワード方式に分かれますが、現代のLLMは事実上サブワードしか使いません。辞書にない新語や誤字も、既知の断片に分けて処理できるからです。目安となる数値としては、英語は4文字で1トークン、韓国語は1文字で1〜1.5トークン程度が妥当です。同じ内容を盛り込んでも、韓国語の文書は英語より1.5〜2倍のトークンを消費するという意味です。境界も明確にしておく必要があります。トークン化は分割して番号を振るところまでであり、その番号に意味を与えてベクトルにする作業は埋め込みの役目です。

現場で最もよくズレるのは、'文字数がそのままトークン数になる'という思い込みです。韓国語10万字のマニュアルを10万トークンとして年間費用を見積もったところ、請求額が1.5倍になった、という話は珍しくありません。コンテキストウィンドウも同じです。128Kモデルだからといって韓国語12万字が入るわけではなく、入力と出力が同じウィンドウを分け合うため、資料をウィンドウの末尾まで詰め込むと回答が途中で切れます。表・JSON・マークダウン記号は見た目の分量よりトークンを多く消費するため、RAGのチャンクサイズを文字数で固定しておくと、検索段階で文書の後半が音もなく切り捨てられます。

この用語が登場する研修 · AI・DX
おすすめ研修 · おすすめ講師 · 簡易見積もり
🧮 ミニ見積もり・講師料の基準
約120万ウォン(約14万円)特別講義 2時間 · 20名以下 · 韓国語
この条件で正式な見積もりを依頼 →
💡 かんたんに言うと
文章をレゴのブロック(トークン)に分ける作業です。AIは文字ではなく、このブロック単位で言語を扱います。
実務でなぜ重要なのか
トークン化は、AIが言語を処理する最初の一歩であり、費用・速度・コンテキストの限界を決める実務上の基準です。
由来と出典

自然言語処理(NLP)の基礎的な前処理手法で、サブワードトークン化(BPEなど)が現代のLLMの標準方式として定着しています。

事例で理解する

仮想の事例で見てみましょう。役職員320名規模の家電部品メーカーA社は、昨年10月からCS相談履歴をLLMで要約し、週次レポートを作成してきました。3か月でAPI費用が月480万ウォン(約57万円)まで上がり、長い相談案件では要約から後半が丸ごと抜け落ちることが繰り返されました。

  1. 情報戦略チームのキム課長がAPI呼び出しログを確認したところ、相談1件あたりの平均入力は3,800トークンでした。韓国語の原文は1,900字しかないのに、HTMLタグと連続する空白がそのまま混入していたのです。
  2. キム課長がトークナイザーでサンプル200件を直接数えた結果、ハングルは1文字が1〜2トークンであり、タグや空白もそれぞれトークンを占めることが数字で確認されました。
  3. CSチーム長は「原文を丸ごと入れた方が正確なのでは」と言いましたが、直前3か月の要約で実際に引用された区間が会話の後半40%に集中しているという集計を見て、前処理の範囲を切り詰めました。
  4. タグ除去と挨拶・自動応答文のフィルターを加え、平均入力を1,500トークン台まで減らしました。8,000トークンを超える案件は2回に分けて呼び出し、後で結合する方式にパイプラインを変更しました。
  5. 2か月後、API費用は月480万ウォン(約57万円)から171万ウォン(約20万円)に下がり、後半が切れて要約が抜けていた案件は週11件から1件に減りました。
関連用語
この用語に関連する研修
📚エージェントAI実務入門ナヌム経営コンサルティング 企業研修 · 対面/オンラインコースを見る →
このテーマで社内研修が必要でしょうか?
ご担当者さま向けの研修プログラム・お見積もりを、すぐにご覧いただけます。
研修のお問い合わせ
最終更新 2026-09-13 · 監修 金鍾赫

よくある質問

似ていますが違います。長い単語は複数のトークンに分かれ、助詞・接尾辞も別のトークンになることがあります。
API費用・速度・コンテキストの限界がすべてトークン単位で決まるからです。
似ていますが違います。長い単語は複数のトークンに分かれ、助詞も別のトークンになることがあります。
API費用・速度・コンテキストの限界がすべてトークン単位で決まるからです。