Tokenización
Tokenization
¿Qué es la tokenización?
- Dividir la oración en tokens
- El primer paso con el que un LLM «lee» un texto
- Relacionado con costos y límites
La tokenización cambia en realidad «con qué se mide la extensión de un documento». Las personas medimos los documentos en caracteres o páginas, pero para el modelo todo ese criterio se convierte en tokens. Una misma hoja A4 puede tener cantidades de tokens muy distintas según el documento: depende de si tiene muchas tablas, de si mezcla siglas en inglés y de cómo se distribuyen los saltos de línea y los espacios; la diferencia puede llegar a casi el doble. Al ajustar un prompt o revisar la propuesta de un proveedor, el primer cambio es que la unidad de cálculo pasa de caracteres a tokens.
Las formas de crear tokens se dividen, a grandes rasgos, en por palabra, por letra y los métodos intermedios de subpalabras, pero los LLM actuales usan prácticamente solo subpalabras. Así pueden procesar también palabras nuevas que no están en el diccionario o errores de escritura, dividiéndolos en fragmentos conocidos. Como referencia orientativa, en inglés suele haber 1 token por cada 4 caracteres y en coreano 1 a 1.5 tokens por carácter. Es decir, para el mismo contenido, un documento en coreano consume entre 1.5 y 2 veces más tokens que uno en inglés. También conviene aclarar el límite: la tokenización llega hasta partir el texto y asignarle números, y dar significado a esos números convirtiéndolos en vectores es tarea de los embeddings.
En la práctica, el supuesto que más veces falla es creer que «número de caracteres = número de tokens». No es raro que se calcule el costo anual de un manual de 100,000 caracteres en coreano como si fueran 100,000 tokens, y que luego la factura llegue 1.5 veces más alta. Lo mismo ocurre con la ventana de contexto. Que un modelo tenga 128K no significa que quepan 120,000 caracteres en coreano, y como la entrada y la salida comparten la misma ventana, si se llena la ventana hasta el final, la respuesta se corta a la mitad. Las tablas, el JSON y los símbolos de Markdown consumen muchos más tokens de lo que su extensión visual sugiere; por eso, si el tamaño de los fragmentos de RAG se fija solo por número de caracteres, la parte final de los documentos se recorta sin que nadie lo note en la fase de búsqueda.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)Técnica básica de preprocesamiento para el procesamiento del lenguaje natural (PLN). La tokenización por subpalabras (como BPE) se consolidó como el método estándar de los LLM actuales.
Como caso hipotético, A, un fabricante de componentes de electrodomésticos con 320 colaboradores, viene resumiendo desde octubre del año pasado el historial de atención al cliente (CS) con un LLM para armar un informe semanal. En tres meses, el costo mensual de la API subió hasta KRW 4,800,000 (≈ US$3,590) y, en los casos largos, la parte final se perdía por completo en el resumen de forma repetida.
- Kim, subgerente del equipo de estrategia de información, revisó el registro de llamadas y vio que la entrada promedio por caso era de 3,800 tokens. El texto original en coreano era de solo 1,900 caracteres, pero se estaban arrastrando tal cual las etiquetas HTML y los espacios consecutivos.
- En una medición directa con el tokenizador sobre 200 muestras, realizada por el subgerente Kim, se confirmó con cifras que cada carácter en coreano equivale a 1 o 2 tokens, y que las etiquetas y los espacios también ocupan tokens.
- El jefe del equipo de CS sostenía que «lo correcto es pasar el texto original completo», pero al ver el conteo de los últimos tres meses, donde los fragmentos realmente citados en los resúmenes se concentraban en el 40% final de la conversación, decidió acotar el alcance del preprocesamiento.
- Al agregar un filtro que quita las etiquetas y los mensajes automáticos de saludo y respuesta, redujo el promedio de entrada a unos 1,500 tokens. Además, cambió el proceso para que los casos de más de 8,000 tokens se dividan en dos llamadas y luego se unan.
- Dos meses después, el costo mensual de la API bajó de KRW 4,800,000 (≈ US$3,590) a KRW 1,710,000 (≈ US$1,280), y los casos de resumen con omisiones, que antes perdían la parte final, bajaron de 11 por semana a 1.