📂Fundamentos de IA⏱Lectura de 2 min📊Práctico🔗3 relacionados

¿Qué es la tokenización?

Definición en una línea
Proceso de dividir una oración en unidades pequeñas (tokens) que la IA puede procesar. El primer paso con el que un LLM «lee» un texto.
Capacitación interna sobre este tema📚 Curso relacionado💬 Consulta sobre capacitación
⚡ Resumen en 3 líneas
  • Dividir la oración en tokens
  • El primer paso con el que un LLM «lee» un texto
  • Relacionado con costos y límites

La tokenización cambia en realidad «con qué se mide la extensión de un documento». Las personas medimos los documentos en caracteres o páginas, pero para el modelo todo ese criterio se convierte en tokens. Una misma hoja A4 puede tener cantidades de tokens muy distintas según el documento: depende de si tiene muchas tablas, de si mezcla siglas en inglés y de cómo se distribuyen los saltos de línea y los espacios; la diferencia puede llegar a casi el doble. Al ajustar un prompt o revisar la propuesta de un proveedor, el primer cambio es que la unidad de cálculo pasa de caracteres a tokens.

Las formas de crear tokens se dividen, a grandes rasgos, en por palabra, por letra y los métodos intermedios de subpalabras, pero los LLM actuales usan prácticamente solo subpalabras. Así pueden procesar también palabras nuevas que no están en el diccionario o errores de escritura, dividiéndolos en fragmentos conocidos. Como referencia orientativa, en inglés suele haber 1 token por cada 4 caracteres y en coreano 1 a 1.5 tokens por carácter. Es decir, para el mismo contenido, un documento en coreano consume entre 1.5 y 2 veces más tokens que uno en inglés. También conviene aclarar el límite: la tokenización llega hasta partir el texto y asignarle números, y dar significado a esos números convirtiéndolos en vectores es tarea de los embeddings.

En la práctica, el supuesto que más veces falla es creer que «número de caracteres = número de tokens». No es raro que se calcule el costo anual de un manual de 100,000 caracteres en coreano como si fueran 100,000 tokens, y que luego la factura llegue 1.5 veces más alta. Lo mismo ocurre con la ventana de contexto. Que un modelo tenga 128K no significa que quepan 120,000 caracteres en coreano, y como la entrada y la salida comparten la misma ventana, si se llena la ventana hasta el final, la respuesta se corta a la mitad. Las tablas, el JSON y los símbolos de Markdown consumen muchos más tokens de lo que su extensión visual sugiere; por eso, si el tamaño de los fragmentos de RAG se fija solo por número de caracteres, la parte final de los documentos se recorta sin que nadie lo note en la fase de búsqueda.

Capacitaciones en las que aparece este término · IA·DX
Cursos recomendados · Instructores recomendados · Mini cotización
🧮 Mini cotización · Criterio de honorarios
Aprox. KRW 1,200,000 (≈ US$900)Charla especial de 2 horas · hasta 20 personas · en coreano
Solicitar cotización formal con estas condiciones →
💡 Dicho de forma sencilla
Dividir el texto en piezas (tokens): la IA trabaja con el lenguaje a partir de estas piezas, no de las letras.
Por qué es importante en la práctica
La tokenización es el primer paso con el que la IA procesa el lenguaje y el criterio práctico que determina el costo, la velocidad y los límites de contexto.
Origen y fuentes

Técnica básica de preprocesamiento para el procesamiento del lenguaje natural (PLN). La tokenización por subpalabras (como BPE) se consolidó como el método estándar de los LLM actuales.

Entender con un caso

Como caso hipotético, A, un fabricante de componentes de electrodomésticos con 320 colaboradores, viene resumiendo desde octubre del año pasado el historial de atención al cliente (CS) con un LLM para armar un informe semanal. En tres meses, el costo mensual de la API subió hasta KRW 4,800,000 (≈ US$3,590) y, en los casos largos, la parte final se perdía por completo en el resumen de forma repetida.

  1. Kim, subgerente del equipo de estrategia de información, revisó el registro de llamadas y vio que la entrada promedio por caso era de 3,800 tokens. El texto original en coreano era de solo 1,900 caracteres, pero se estaban arrastrando tal cual las etiquetas HTML y los espacios consecutivos.
  2. En una medición directa con el tokenizador sobre 200 muestras, realizada por el subgerente Kim, se confirmó con cifras que cada carácter en coreano equivale a 1 o 2 tokens, y que las etiquetas y los espacios también ocupan tokens.
  3. El jefe del equipo de CS sostenía que «lo correcto es pasar el texto original completo», pero al ver el conteo de los últimos tres meses, donde los fragmentos realmente citados en los resúmenes se concentraban en el 40% final de la conversación, decidió acotar el alcance del preprocesamiento.
  4. Al agregar un filtro que quita las etiquetas y los mensajes automáticos de saludo y respuesta, redujo el promedio de entrada a unos 1,500 tokens. Además, cambió el proceso para que los casos de más de 8,000 tokens se dividan en dos llamadas y luego se unan.
  5. Dos meses después, el costo mensual de la API bajó de KRW 4,800,000 (≈ US$3,590) a KRW 1,710,000 (≈ US$1,280), y los casos de resumen con omisiones, que antes perdían la parte final, bajaron de 11 por semana a 1.
Términos relacionados
Capacitaciones relacionadas con este término
📚Introducción práctica a la IA de agentesCapacitación corporativa de Nanum Consultoría · presencial / en líneaVer curso →
¿Necesita capacitación interna sobre este tema?
Reciba de inmediato un currículo y una cotización personalizados para su equipo.
Consultar sobre capacitación
Última modificación 2026-09-13 · Revisado por John Kim

Preguntas frecuentes

Se parecen, pero no son lo mismo. Las palabras largas se dividen en varios tokens, y las partículas gramaticales y los sufijos también pueden ser tokens por separado.
Porque los costos de la API, la velocidad y los límites de contexto se definen todos en unidades de token.
Se parecen, pero no son lo mismo. Las palabras largas se dividen en varios tokens, y las partículas gramaticales también pueden ser tokens por separado.
Porque los costos de la API, la velocidad y los límites de contexto se definen todos en unidades de token.