Token · 上下文視窗
Token / Context Window
什麼是 Token?
- Token=處理的最小單位
- 上下文視窗=一次能讀取的最大量
- 成本與限制的基準
了解 Token 與上下文視窗後,「該放入什麼」之前,「該放入多少」才是先要決定的變數。同樣的問題,若附上的資料長了十倍,回應時間與費用通常也會隨之增加;而一旦超過某個界線,前半段就會被悄悄截掉。實務上,先粗估要放入的分量這個習慣,會同時決定回答品質與每月使用費。
可以先抓個大概的標準。韓文每個字約佔 1~2 個 Token,所以 A4 一頁約 1,000~1,500 Token,100 頁的合約就超過 10 萬 Token。計費時輸入 Token 與輸出 Token 分開計算,而輸出單價通常較貴。上下文視窗是輸入與輸出的總量,所以放入的資料越長,留給回答的空間就越少。對話變長時,之前的整段對話每一輪都會重新傳送,這也是價目表上看不到的成本。
管理方式大致分兩種。一種是把文件依條款與段落切開,只挑出需要的片段放入(分塊・RAG);另一種是定期把先前的對話摘要後再重新放入。前者適合審閱資料,後者適合長時間諮詢或會議紀錄整理。兩種方式的目的相同——不是把視窗塞滿,而是去除無關的文字。檔案上傳功能也只是替你完成這個過程,並不代表限制就此消失。
最常見的誤解是「視窗很大,整份丟進去就好」。雖然放得進去,但模型常會漏掉長輸入的中段,而讀者沒有察覺這些遺漏,就把看似合理的摘要直接寫進報告。另外,放進上下文的資料不會用於訓練,關掉視窗就會消失,所以才會出現「上週明明告訴過你,為什麼還不知道」的情況。設計業務流程時,應以精簡、重點明確的請求往往比一次塞滿資料更準確為前提。
Token 與上下文視窗是源自 Transformer 架構語言模型運作方式的概念,指模型一次能處理的輸入單位,以及其最大長度。
以下舉一個假設的例子。員工 180 人的汽車零件製造商 A 公司,每年由 2 位法務負責人審閱 260 份供應商合約。今年 3 月試辦 AI 審閱,但把 80 頁的供應合約整份貼上後,只摘要了後段的損害賠償條款,前段的單價調整條款卻整段漏掉,三個月內這種情況重複了十一次。
- 法務組金課長把一份合約的分量換算成 Token,約為 6 萬個。若每月 22 件全部整份放入,使用費將是試用預算的三倍,這是算出來的結果。
- 採購組長反問「80 頁都需要看嗎?」後,只把實際發生糾紛的單價調整、遲延違約金、瑕疵擔保、解約等 7 條列為優先審閱對象。
- 資訊組李代理把合約以條款為單位切成 120 個片段,並改成只附上與問題相關的前 5 個。結果單次請求從 6 萬 Token 降到 4 千 Token。
- 每次對話拉長,先前的內容就會在每一輪重新傳送。確認這一點後,金課長在團隊公告中訂下「一件合約結束就開新視窗」的規則,原本一串對話延續 20 輪的習慣也就消失了。
- 三個月後,一份合約的審閱時間從平均 95 分鐘縮短為 32 分鐘,每月 AI 使用費也從 KRW 410,000 (≈ US$305) 降到 KRW 90,000 (≈ US$67) 左右。前段條款遺漏從 11 件降為 0 件。
金鍾赫
Ara Lim