Conocimiento · Fundamentos de IA

Transformer

Transformer

📂Fundamentos de IA⏱Lectura de 2 min📊Avanzado🔗Relacionados 4

¿Qué es un transformer?

Definición en una línea
Estructura de red neuronal basada en el mecanismo de «atención», que identifica de una vez las relaciones entre todas las palabras de una oración. Es la base de la IA generativa actual.
⚡ Resumen en 3 líneas
  • Comprende de una vez todas las relaciones entre palabras
  • Estructura basada en atención
  • Base de la IA generativa moderna

Lo que más cambió es la economía del entrenamiento. La estructura anterior exigía que terminara el cálculo de una palabra para pasar a la siguiente, así que, por más GPU que se conectaran, la velocidad quedaba atada al «orden». El transformer rompió esa restricción de secuencia y permitió un entrenamiento que procesa cientos de veces más oraciones en el mismo tiempo. Como resultado, los experimentos confirmaron la ley de escalamiento (scaling): si aumentas el tamaño del modelo y la cantidad de datos, el rendimiento también sube. Por eso la competencia en IA hoy gira en torno a quién puede costear el mayor cómputo.

La estructura se divide, a grandes rasgos, en codificador y decodificador. El que lee la oración y comprime su significado es el codificador; el que genera el siguiente token, uno por uno, es el decodificador. Los modelos de la familia BERT, usados para búsqueda y clasificación, solo usan el codificador, mientras que los modelos generativos como GPT o Claude son decodificadores apilados en capas. Además, el transformer no se limita al lenguaje: el ViT, que trata las imágenes como secuencias de unidades similares a tokens, y los modelos de reconocimiento de voz usan la misma base. Conviene tener claro que «transformer no es igual a chatbot», sino un diseño general para tratar secuencias, lo que facilita mucho la discusión sobre su adopción.

También tiene un costo. Como calcula la relación entre todos los pares de palabras, el cómputo crece con el cuadrado del número de tokens: si duplica la entrada, el costo de atención sube aproximadamente 4 veces. Por eso, aun con ventanas de contexto de cientos de miles de tokens, meter un documento largo completo no siempre es lo más barato ni lo más preciso. En la práctica, se combina con RAG, que busca solo los pasajes necesarios, o con la división de documentos.

En la práctica, el error más frecuente es creer que «si la ventana es grande, lo lee todo». Con entradas largas se sabe que el principio y el final se conservan, pero la parte del medio se difumina. Si pega un contrato de 200 páginas y pide las cláusulas abusivas, es común que el resumen omita por completo una cláusula de incumplimiento que estaba en medio. Si el revisor lo marca como «revisión completa», el problema aparece después de firmado el contrato, no en la sala de reuniones. La longitud es un límite de lo que cabe, no una garantía de que se haya leído. Le recomendamos escribir esta idea en la primera página de la guía interna.

Capacitaciones en las que aparece este término · IA·DX
Cursos recomendados · Instructores recomendados · Mini cotización
🧮 Mini cotización · Criterio de honorarios
Aprox. KRW 1,200,000 (≈ US$900)Charla especial de 2 horas · hasta 20 personas · en coreano
Solicitar cotización formal con estas condiciones →
💡 Dicho de forma sencilla
Estructura que examina de una vez todas las palabras de la oración para captar sus relaciones. Es la base de casi todos los LLM actuales.
Por qué es importante en la práctica
Por qué la IA se volvió de repente tan capaz en la década de 2020: el punto de inflexión técnico fue precisamente el transformer.
Origen y fuentes

En 2017, un equipo de investigadores de Google (Vaswani y otros) presentó el artículo «Attention Is All You Need». La idea de procesar secuencias solo con atención, sin recurrencia ni convoluciones, se convirtió en la base de casi todos los grandes modelos de IA actuales.

Fuente · Vaswani et al., « Attention Is All You Need » (2017, Google) · Ver original
Entender con un caso

Veamos un caso hipotético. A, empresa coreana que fabrica válvulas industriales, tiene 320 colaboradores y ventas anuales de KRW 89,000,000,000 (≈ US$66,613,800). Su equipo de ventas internacionales procesaba con traductores automáticos unas 140 consultas diarias de cotización en inglés, y errores como traducir «lead time» como «cable conductor» en lugar de «plazo de entrega» se repetían 22 veces al mes. En el segundo semestre de 2024, por propuesta del líder del equipo, comenzó una capacitación interna de ocho semanas sobre el uso de la IA.

  1. En la primera clase, el jefe de equipo Kim, del área de ventas internacionales, proyectó 12 correos con traducciones erróneas y preguntó: «¿Por qué la máquina traduce cada vez de forma distinta la misma palabra?»
  2. El instructor mostró, lado a lado, una misma cotización en dos herramientas, y cómo cambia el resultado según la herramienta lea toda la oración de una vez o avance palabra por palabra desde el principio.
  3. En la tercera semana, el gerente Lee, del equipo de calidad, pegó una norma de 40 páginas completa y el resumen que salió omitió las condiciones de temperatura de la parte central, unas 15 páginas. Así, el equipo comprobó con sus propios ojos los límites del contexto.
  4. Después, crearon una regla interna para hacer consultas a la especificación técnica, dividida por cláusulas, y añadieron una doble verificación: los tres datos (monto, plazo y cantidad) los revisa el responsable directamente contra el original.
  5. Ocho semanas después, los errores de traducción en cotizaciones bajaron de 22 a 3 al mes, y el tiempo promedio de atención por consulta se redujo de 34 a 12 minutos.
Términos relacionados
Capacitaciones relacionadas con este término
📚Introducción práctica a la IA de agentesCapacitación corporativa de Nanum Consultoría · presencial / en líneaVer curso →
¿Necesita capacitación interna sobre este tema?
Reciba de inmediato un currículo y una cotización personalizados para su equipo.
Consultar sobre capacitación
Última modificación 2026-09-13 · Revisado por John Kim

Preguntas frecuentes

El Transformer es la «estructura» y el LLM es el «modelo de lenguaje de gran escala» construido con esa estructura. Los LLM se levantan sobre el Transformer.
Porque es el mecanismo clave que identifica qué palabras de una oración están relacionadas entre sí, y así permite comprender el contexto.
El Transformer es la «estructura» y el LLM es el modelo de lenguaje de gran escala construido con esa estructura.
Porque capta de una vez las relaciones entre todas las palabras de la oración, lo que permite entender contextos largos y entrenar en paralelo.