지식 · AI
토큰 · 컨텍스트 윈도우
Token / Context Window
한 줄 정의
토큰은 AI가 글을 처리하는 최소 단위(대략 단어 조각), 컨텍스트 윈도우는 AI가 한 번에 기억·참고할 수 있는 토큰의 최대 길이.
AI는 글을 글자나 단어가 아니라 '토큰'이라는 조각으로 잘라 처리합니다(한국어는 대략 한두 글자가 한 토큰). 입력·출력 분량, 그리고 사용 요금이 이 토큰 수로 계산됩니다.
컨텍스트 윈도우는 모델이 '한 번의 대화에서 동시에 볼 수 있는 토큰의 최대치'입니다. 이 한계를 넘으면 앞부분을 잊습니다. 그래서 긴 문서를 다룰 때는 잘게 나누거나(청킹), 필요한 부분만 RAG로 골라 넣는 것이 중요합니다.
실무에서 왜 중요한가
왜 AI가 긴 문서의 앞부분을 잊는지, 왜 요금이 분량에 비례하는지 — 토큰·컨텍스트로 설명됩니다.
유래와 출처
토큰·컨텍스트 윈도우는 트랜스포머 기반 언어모델의 작동 방식에서 비롯된 개념으로, 모델이 한 번에 처리하는 입력 단위와 그 최대 길이를 가리킵니다.
사례로 이해하기
예를 들어, 100페이지 계약서를 AI로 분석한다고 해봅시다.
- 한계 인식 — 문서가 모델의 컨텍스트 윈도우보다 길 수 있음을 확인합니다.
- 분할 — 계약서를 조항 단위로 잘게 나눕니다(청킹).
- 선별 — 질문과 관련된 조각만 RAG로 골라 넣습니다.
- 처리 — 한 번에 넣는 토큰을 한계 안으로 유지해 정확도를 지킵니다.
- 비용 — 불필요한 텍스트를 줄여 토큰 수(=요금)를 아낍니다.
관련 용어
이 용어와 연결된 교육
📚클로드 코워크 핵심기능 활용나눔경영컨설팅 기업교육 · 대면/온라인과정 보기 →이 주제로 사내 교육이 필요하신가요?
담당자 맞춤 커리큘럼·견적을 바로 받아보세요.
자주 묻는 질문
언어·단어마다 다릅니다. 영어는 대략 4글자, 한국어는 한두 글자가 1토큰 정도로 봅니다.
긴 문서를 다루기 좋지만, 너무 많이 넣으면 비용이 늘고 핵심이 묻힐 수 있어 '필요한 것만' 넣는 게 좋습니다.