Token · ventana de contexto
Token / Context Window
¿Qué es un token?
- Token = unidad mínima de procesamiento
- Ventana de contexto = cantidad máxima que puede revisar de una vez
- Criterios de costo y límites
Cuando se entienden los tokens y la ventana de contexto, la pregunta deja de ser «¿qué le pongo a la IA?» y pasa a ser «¿cuánto le pongo?», la variable que decide primero. Con la misma pregunta, si el material pegado es diez veces más largo, el tiempo de respuesta y el costo suelen crecer en la misma proporción, y al cruzar cierto límite la parte inicial se corta en silencio. En la práctica, el hábito de estimar de antemano cuánto se va a incluir determina a la vez la calidad de las respuestas y la factura mensual.
Para tener una referencia: en coreano, cada carácter equivale aproximadamente a 1 o 2 tokens, así que una hoja A4 ronda los 1,000 a 1,500 tokens, y un contrato de 100 páginas supera con holgura los 100,000 tokens. La tarifa se cobra por separado por tokens de entrada y tokens de salida, y el precio de salida suele ser más alto. La ventana de contexto es el total de entrada más salida, así que cuanto más material se incluye, menos espacio queda para la respuesta. Cuando la conversación se alarga, toda la conversación previa se reenvía en cada turno, un costo que no aparece en la tabla de precios.
Hay dos formas principales de gestionarlo. Una consiste en dividir el documento por cláusulas o párrafos e incluir solo los fragmentos necesarios (fragmentación o RAG); la otra, en resumir periódicamente la conversación previa y volver a incorporarla. La primera encaja en la revisión de documentos; la segunda, en consultas largas o en la síntesis de actas de reuniones. Ambos métodos persiguen el mismo objetivo: no llenar la ventana al máximo, sino eliminar el texto que no es pertinente. La función de carga de archivos solo hace este proceso por usted; no elimina el límite.
El error más común es pensar que, como la ventana es amplia, basta con pegarlo todo. Se puede pegar, pero el modelo suele perder partes del centro de una entrada larga, y quien lee no lo nota y pasa al informe un resumen de apariencia plausible. Además, lo que se incluye en el contexto no es entrenamiento: al cerrar la ventana desaparece, por eso surge la queja de «¿por qué no lo sabe si se lo dije la semana pasada?». Hay que diseñar los procedimientos de trabajo partiendo de que una solicitud breve que va al grano suele ser más precisa que una que empuja todo el material.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría
Ara LimEspecialista en liderazgo global, IA y comunicación empresarialLos conceptos de token y ventana de contexto surgen del funcionamiento de los modelos de lenguaje basados en Transformer, y designan la unidad de entrada que el modelo procesa de una vez y su longitud máxima.
Veamos un caso hipotético. La empresa A, fabricante de autopartes con 180 colaboradores, revisa 260 contratos anuales con proveedores, a cargo de dos personas del área jurídica. En marzo de este año probó la revisión con IA; al pegar completo un contrato de suministro de 80 páginas, la IA resumía solo la cláusula de indemnización de la parte final y omitía por completo la cláusula de ajuste de precios de la parte inicial. Esto se repitió once veces en tres meses.
- Al medir en tokens la extensión de un contrato, el gerente Kim, del área jurídica, obtuvo unos 60,000 tokens. El cálculo mostró que incluir completos los 22 contratos mensuales triplicaba el costo de uso frente al presupuesto piloto.
- Ante la pregunta del jefe de Compras sobre si era necesario revisar «las 80 páginas», se priorizaron solo siete cláusulas —entre ellas, ajuste de precios, penalidades por demora, garantía por defectos y resolución del contrato—, que eran las que habían generado disputas reales.
- Cuando el subgerente Lee, del área de Informática, cambió el formulario para dividir los contratos en 120 fragmentos por cláusula e incluir solo los 5 más relacionados con la consulta, cada solicitud bajó de 60,000 a 4,000 tokens.
- Tras confirmar que, cuanto más larga es la conversación, más contenido previo se reenvía en cada turno, el gerente Kim anunció al equipo la regla «un contrato, una ventana nueva», y dejó de lado el hábito de continuar cada conversación durante 20 turnos.
- Tres meses después, el tiempo promedio de revisión de un contrato bajó de 95 a 32 minutos, y el costo mensual de uso de IA pasó de KRW 410,000 (≈ US$305) a unos KRW 90,000 (≈ US$67). Las cláusulas anteriores omitidas pasaron de 11 casos a 0.