Transformer
Transformer
¿Qué es un transformer?
- Comprende de una vez todas las relaciones entre palabras
- Estructura basada en atención
- Base de la IA generativa moderna
Lo que más cambió es la economía del entrenamiento. La estructura anterior exigía que terminara el cálculo de una palabra para pasar a la siguiente, así que, por más GPU que se conectaran, la velocidad quedaba atada al «orden». El transformer rompió esa restricción de secuencia y permitió un entrenamiento que procesa cientos de veces más oraciones en el mismo tiempo. Como resultado, los experimentos confirmaron la ley de escalamiento (scaling): si aumentas el tamaño del modelo y la cantidad de datos, el rendimiento también sube. Por eso la competencia en IA hoy gira en torno a quién puede costear el mayor cómputo.
La estructura se divide, a grandes rasgos, en codificador y decodificador. El que lee la oración y comprime su significado es el codificador; el que genera el siguiente token, uno por uno, es el decodificador. Los modelos de la familia BERT, usados para búsqueda y clasificación, solo usan el codificador, mientras que los modelos generativos como GPT o Claude son decodificadores apilados en capas. Además, el transformer no se limita al lenguaje: el ViT, que trata las imágenes como secuencias de unidades similares a tokens, y los modelos de reconocimiento de voz usan la misma base. Conviene tener claro que «transformer no es igual a chatbot», sino un diseño general para tratar secuencias, lo que facilita mucho la discusión sobre su adopción.
También tiene un costo. Como calcula la relación entre todos los pares de palabras, el cómputo crece con el cuadrado del número de tokens: si duplica la entrada, el costo de atención sube aproximadamente 4 veces. Por eso, aun con ventanas de contexto de cientos de miles de tokens, meter un documento largo completo no siempre es lo más barato ni lo más preciso. En la práctica, se combina con RAG, que busca solo los pasajes necesarios, o con la división de documentos.
En la práctica, el error más frecuente es creer que «si la ventana es grande, lo lee todo». Con entradas largas se sabe que el principio y el final se conservan, pero la parte del medio se difumina. Si pega un contrato de 200 páginas y pide las cláusulas abusivas, es común que el resumen omita por completo una cláusula de incumplimiento que estaba en medio. Si el revisor lo marca como «revisión completa», el problema aparece después de firmado el contrato, no en la sala de reuniones. La longitud es un límite de lo que cabe, no una garantía de que se haya leído. Le recomendamos escribir esta idea en la primera página de la guía interna.
John KimAutor de «Diseño del marketing B2B» y CEO de Nanum Consultoría. Instructor.
Seolyeong ParkEspecialista en IA generativa y AX, con 17 años de experiencia práctica y más de 200 sesiones de enseñanza, que logra que personas sin formación técnica la usen de inmediatoEn 2017, un equipo de investigadores de Google (Vaswani y otros) presentó el artículo «Attention Is All You Need». La idea de procesar secuencias solo con atención, sin recurrencia ni convoluciones, se convirtió en la base de casi todos los grandes modelos de IA actuales.
Veamos un caso hipotético. A, empresa coreana que fabrica válvulas industriales, tiene 320 colaboradores y ventas anuales de KRW 89,000,000,000 (≈ US$66,613,800). Su equipo de ventas internacionales procesaba con traductores automáticos unas 140 consultas diarias de cotización en inglés, y errores como traducir «lead time» como «cable conductor» en lugar de «plazo de entrega» se repetían 22 veces al mes. En el segundo semestre de 2024, por propuesta del líder del equipo, comenzó una capacitación interna de ocho semanas sobre el uso de la IA.
- En la primera clase, el jefe de equipo Kim, del área de ventas internacionales, proyectó 12 correos con traducciones erróneas y preguntó: «¿Por qué la máquina traduce cada vez de forma distinta la misma palabra?»
- El instructor mostró, lado a lado, una misma cotización en dos herramientas, y cómo cambia el resultado según la herramienta lea toda la oración de una vez o avance palabra por palabra desde el principio.
- En la tercera semana, el gerente Lee, del equipo de calidad, pegó una norma de 40 páginas completa y el resumen que salió omitió las condiciones de temperatura de la parte central, unas 15 páginas. Así, el equipo comprobó con sus propios ojos los límites del contexto.
- Después, crearon una regla interna para hacer consultas a la especificación técnica, dividida por cláusulas, y añadieron una doble verificación: los tres datos (monto, plazo y cantidad) los revisa el responsable directamente contra el original.
- Ocho semanas después, los errores de traducción en cotizaciones bajaron de 22 a 3 al mes, y el tiempo promedio de atención por consulta se redujo de 34 a 12 minutos.