📂AI 基礎⏱閱讀 2 分鐘📊實務🔗相關 3

什麼是 Token 化?

一句話定義
將句子切分成 AI 能處理的小單位(Token)的過程。是 LLM「閱讀」文字的第一步。
想把這個主題納入企業內訓?📚 相關課程💬 教育訓練洽詢
⚡ 3 行重點摘要
  • 將句子切分為 token
  • LLM「閱讀」文字的第一步
  • 與成本、限制直接相關

Token 化實際改變的,是「用什麼單位來衡量文件的分量」。人類以字數或頁數衡量文件,但在模型面前,所有標準都會換算成 Token。同樣一頁 A4,Token 數因文件而異:表格多寡、英文縮寫是否混入、換行與空白如何排列,都會讓數字相差近兩倍。無論是調整提示,還是審視廠商報價,計算單位從字改成 Token,這是第一個轉變。

建立 Token 的方式大致分為以單字為單位、以字元為單位,以及介於兩者之間的子詞(subword)方式,而現代 LLM 幾乎只採用子詞方式。因為即使是字典裡沒有的新詞或錯字,也能拆成認得的片段來處理。作為感受規模的數字,英文約每 4 個字元 1 個 Token,韓文約每 1 個字 1~1.5 個 Token,大致可以這樣估。也就是說,同樣的內容,韓文文件消耗的 Token 約為英文的 1.5~2 倍。界線也需要說清楚:Token 化只做到切分並編上號碼為止,把號碼賦予意義、轉換成向量的工作,則屬於嵌入的範疇。

實際作業中最常出錯的地方,就是「字數等於 token 數」這個假設。把 10 萬字的韓文手冊直接當成 10 萬個 token 來估算年度費用,結果帳單卻多出 1.5 倍,這種情況並不少見。上下文視窗也是同樣道理。即使是 128K 的模型,也不代表能放入 12 萬個韓文字,因為輸入與輸出共用同一個視窗,資料一旦塞到視窗末端,回答就會在中途被截斷。表格、JSON、Markdown 符號消耗的 token 遠比看起來的分量多,因此如果把 RAG 的分塊大小固定為字數,檢索階段就會悄悄切掉文件後段。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
把文字拆成樂高積木般的片段(token)——AI 處理語言時使用的是這些片段,而不是單一文字。
為什麼在實務上很重要
Token 化是 AI 處理語言的第一步,也是決定成本、速度與上下文限制的實務基準。
由來與出處

作為自然語言處理(NLP)的基礎前處理技術,子詞 Token 化(如 BPE 等)已成為現代 LLM 的標準做法。

透過案例理解

以下舉一個假設的例子。員工 320 人的家電零件製造商 A 公司,自去年 10 月起就以 LLM 摘要客服諮詢紀錄,製作每週報告。三個月內 API 費用月費升到 KRW 4,800,000 (≈ US$3,590),而較長的諮詢案件中,摘要的後半段整段消失的情況也一再發生。

  1. 資訊策略組金課長調出呼叫紀錄一看,每筆諮詢的平均輸入量高達 3,800 個 token。韓文原文只有 1,900 字,HTML 標籤與連續空白卻原封不動地跟著一起送進來。
  2. 金課長以分詞器直接數了 200 筆樣本,結果以數字證實:一個韓文字為 1~2 個 Token,標籤與空白也各自佔用 Token。
  3. 客服組長認為「不整份放入原文,怎麼會準確」,但看到前三個月摘要實際引用的段落,有 40% 集中在對話後半段的統計後,便決定縮減前處理的範圍。
  4. 加入標籤移除與問候語、自動回覆文字過濾後,平均輸入降到 1,500 token 上下;超過 8,000 token 的案件,改為分兩次呼叫再合併,流程就這樣改了。
  5. 兩個月後,API 費用從每月 KRW 4,800,000 (≈ US$3,590) 降到 KRW 1,710,000 (≈ US$1,280),而因後段被截斷而遺漏摘要的案件,也從每週 11 件降到 1 件。
相關術語
與此術語相關的課程
📚AI 代理實務入門Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

相似但不同。較長的單字會被拆成多個 Token,助詞與字尾也可能成為獨立的 Token。
因為 API 費用、速度與上下文限制,全都是以 Token 為單位決定的。
相似但不同。較長的單字會被拆成多個 Token,助詞也可能成為獨立的 Token。
因為 API 費用、速度與上下文限制,全都是以 Token 為單位決定的。