トークン・コンテキストウィンドウ
Token / Context Window
トークンとは?
- トークン=処理の最小単位
- コンテキストウィンドウ=一度に見られる最大量
- 費用・限界の基準
トークンとコンテキストウィンドウを理解すると、「AIに何を入れるか」より「どれだけ入れるか」が先に決めるべき変数になります。同じ質問でも、貼り付けた資料が10倍長ければ応答時間も料金もおおむねその分だけ増え、ある限界を超えた瞬間に前半は静かに切り捨てられます。実務では入れる分量を事前におおまかに見積もる習慣が、回答の品質と月額利用料を同時に左右します。
目安は次のとおりです。韓国語は1文字がおよそ1〜2トークンなので、A4一枚は1,000〜1,500トークン、100ページの契約書なら10万トークンを優に超えます。料金は入力トークンと出力トークンが別々に計算され、出力の単価は一般に高めです。コンテキストウィンドウは入力と出力の合計量なので、資料を長く入れるほど回答に使える余裕が減ります。会話が長くなると、それまでの会話全体が毎ターン再送信される点も、料金表には現れない費用です。
管理の方法は大きく二つに分かれます。文書を条項・段落単位に分けて必要な断片だけを選んで入れる方式(チャンキング・RAG)と、それまでの会話を定期的に要約して入れ直す方式です。前者は資料の検討に、後者は長い相談や議事録の整理に向いています。両方式の目的は同じです — ウィンドウを埋め尽くすことではなく、関係のないテキストを取り除くことです。ファイルアップロード機能もこの過程を代わりに行ってくれるだけで、限界がなくなるわけではありません。
最もよくある誤解は「ウィンドウに余裕があるので丸ごと入れればよい」という考えです。入れることはできますが、モデルは長い入力の中間部分をしばしば取りこぼし、読む人はその抜けに気づかないまま、もっともらしい要約をそのまま報告書に写してしまいます。もう一つ、コンテキストに入れた資料は学習にはなりません — ウィンドウを閉じれば消えるため、「先週教えたのになぜ知らないのか」という声が出てきます。要点だけを絞った短い依頼が、何でも詰め込んだ依頼より正確なことが多いという前提で、業務の手順を組む必要があります。
トークン・コンテキストウィンドウは、トランスフォーマー型言語モデルの動作方式に由来する概念で、モデルが一度に処理する入力単位とその最大長を指します。
仮想の事例で見てみましょう。役職員180名規模の自動車部品メーカーA社は、年間260件の協力会社との契約書を法務担当2名が審査しています。今年3月にAI審査を試験導入したところ、80ページの供給契約書を丸ごと貼り付けると、後半の損害賠償条項だけを要約し、前半の単価調整条項を丸ごと抜かしてしまうことが3か月間で11回繰り返されました。
- 法務チームのキム課長が契約書1件の分量をトークンで数えたところ約6万トークンで、月22件をすべて丸ごと入れると利用料が試行予算の3倍になるという計算が出ました。
- 購買チーム長が「80ページを全部見る必要があるのか」と問い返したことで、実際に紛争が起きた単価調整・遅延違約金・瑕疵担保・解除など7つの条項だけを優先検討の対象に絞りました。
- 情報チームのイ代理が契約書を条項単位で120個の断片に分け、質問に関連する上位5件だけを貼り付けるよう書式を変えたところ、1回の依頼が6万トークンから4千トークンに減りました。
- 会話が長くなるほど、それまでの内容が毎ターン再送信されることを確認したあと、キム課長は「契約1件が終わったら新しいウィンドウ」というルールをチーム通知として回し、20ターンずつ続けていた習慣はなくなりました。
- 3か月後、契約書1件あたりの検討時間は平均95分から32分に減り、月のAI利用料は41万ウォン(約4.9万円)から9万ウォン(約1.1万円)台に下がりました。前の方の条項の見落としは11件から0件になりました。
金鍾赫
イム・アラ