知識 · AI 基礎

Token · 上下文視窗

Token / Context Window

📂AI 基礎⏱閱讀 2 分鐘📊實務🔗相關 5

什麼是 Token?

一句話定義
Token 是 AI 處理文字的最小單位(約為單字的片段),上下文視窗則是 AI 一次能記憶與參考的 Token 最大長度。
這個主題,透過企業內訓學習📚 相關課程💬 教育諮詢
⚡ 3 行重點摘要
  • Token=處理的最小單位
  • 上下文視窗=一次能讀取的最大量
  • 成本與限制的基準

了解 Token 與上下文視窗後,「該放入什麼」之前,「該放入多少」才是先要決定的變數。同樣的問題,若附上的資料長了十倍,回應時間與費用通常也會隨之增加;而一旦超過某個界線,前半段就會被悄悄截掉。實務上,先粗估要放入的分量這個習慣,會同時決定回答品質與每月使用費。

可以先抓個大概的標準。韓文每個字約佔 1~2 個 Token,所以 A4 一頁約 1,000~1,500 Token,100 頁的合約就超過 10 萬 Token。計費時輸入 Token 與輸出 Token 分開計算,而輸出單價通常較貴。上下文視窗是輸入與輸出的總量,所以放入的資料越長,留給回答的空間就越少。對話變長時,之前的整段對話每一輪都會重新傳送,這也是價目表上看不到的成本。

管理方式大致分兩種。一種是把文件依條款與段落切開,只挑出需要的片段放入(分塊・RAG);另一種是定期把先前的對話摘要後再重新放入。前者適合審閱資料,後者適合長時間諮詢或會議紀錄整理。兩種方式的目的相同——不是把視窗塞滿,而是去除無關的文字。檔案上傳功能也只是替你完成這個過程,並不代表限制就此消失。

最常見的誤解是「視窗很大,整份丟進去就好」。雖然放得進去,但模型常會漏掉長輸入的中段,而讀者沒有察覺這些遺漏,就把看似合理的摘要直接寫進報告。另外,放進上下文的資料不會用於訓練,關掉視窗就會消失,所以才會出現「上週明明告訴過你,為什麼還不知道」的情況。設計業務流程時,應以精簡、重點明確的請求往往比一次塞滿資料更準確為前提。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
AI 的「一眼能讀完的分量」。超過這個量,前半段就會被遺忘,費用也是依這個分量計算。
為什麼在實務上很重要
為什麼 AI 會忘記長文件的前半段,為什麼費用與篇幅成正比?這些都可以用 Token 與上下文來說明。
由來與出處

Token 與上下文視窗是源自 Transformer 架構語言模型運作方式的概念,指模型一次能處理的輸入單位,以及其最大長度。

透過案例理解

以下舉一個假設的例子。員工 180 人的汽車零件製造商 A 公司,每年由 2 位法務負責人審閱 260 份供應商合約。今年 3 月試辦 AI 審閱,但把 80 頁的供應合約整份貼上後,只摘要了後段的損害賠償條款,前段的單價調整條款卻整段漏掉,三個月內這種情況重複了十一次。

  1. 法務組金課長把一份合約的分量換算成 Token,約為 6 萬個。若每月 22 件全部整份放入,使用費將是試用預算的三倍,這是算出來的結果。
  2. 採購組長反問「80 頁都需要看嗎?」後,只把實際發生糾紛的單價調整、遲延違約金、瑕疵擔保、解約等 7 條列為優先審閱對象。
  3. 資訊組李代理把合約以條款為單位切成 120 個片段,並改成只附上與問題相關的前 5 個。結果單次請求從 6 萬 Token 降到 4 千 Token。
  4. 每次對話拉長,先前的內容就會在每一輪重新傳送。確認這一點後,金課長在團隊公告中訂下「一件合約結束就開新視窗」的規則,原本一串對話延續 20 輪的習慣也就消失了。
  5. 三個月後,一份合約的審閱時間從平均 95 分鐘縮短為 32 分鐘,每月 AI 使用費也從 KRW 410,000 (≈ US$305) 降到 KRW 90,000 (≈ US$67) 左右。前段條款遺漏從 11 件降為 0 件。
相關術語
與此術語相關的課程
📚Claude Cowork 核心功能應用Nanum 經營顧問企業內訓 · 實體/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

因語言與詞彙而異。英文大約 4 個字元算 1 個 Token,韓文大約一兩個字算 1 個 Token。
適合處理長篇文件,但放入太多會增加費用,重點也可能被淹沒,因此最好只放「必要的內容」。
並非固定。韓文大約一兩個字為一個 Token,單字有時也會被切開。
視窗大能裝得多,但並不代表都能用得好。只放入精華才比較有利。