Mecanismo de atención
Attention Mechanism
¿Qué es el mecanismo de atención?
- Técnica que permite concentrarse en 'lo que importa ahora'
- También capta relaciones entre palabras distantes
- El corazón de Transformer y de los LLM
La verdadera contribución de la atención es resolver el problema de la «distancia». En la estructura anterior, toda la oración se metía en un solo vector de longitud fija y la predicción de la siguiente palabra dependía solo de él, así que la información del principio se desvanecía cuanto más avanzaba el texto. La atención hace que cada token consulte directamente a todos los demás, de modo que la palabra 50 y la palabra 1 se tratan igual que dos palabras contiguas. Como resultado, desaparece el cuello de botella del vector resumen, y el entrenamiento puede ejecutarse en paralelo sin esperar el orden secuencial.
En la práctica conviene distinguir tres variantes. La autoatención examina la relación entre las palabras de una misma oración; la atención cruzada conecta dos conjuntos distintos, como una pregunta y un documento de referencia; y la atención multicabezal divide el mismo cálculo en varias vías, para que cada una se ocupe de algo distinto: la gramática, el referente o el tema. El costo es que la carga de cómputo crece con el cuadrado de la longitud de entrada. Si los tokens se duplican, el cálculo de atención se cuadruplica; por eso una ventana de contexto de 32K y una de 128K tienen precios y tiempos de respuesta totalmente distintos. Cuanto más larga es la ventana, más empinada se vuelve la curva de costos, y ese es el punto de partida del diseño de los prompts.
En el terreno, el error más frecuente es pensar que «si la ventana es grande, basta con meter todos los documentos y el modelo lo resuelve solo». La atención reparte un peso limitado, así que cuantos más documentos se incluyan, menos peso recibe la frase realmente importante. También se reporta de forma reiterada que la información situada en el centro de una entrada larga se refleja menos que la del principio o el final. Con los documentos de referencia, el problema es de selección, no de cantidad. Además, un peso de atención alto no equivale a que sea la razón de la decisión del modelo. Si se captura el mapa de atención y se adjunta a un informe de auditoría con la frase «el modelo miró esta cláusula y respondió», en realidad se presenta una explicación sin fundamento.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)Un equipo de investigación de Google publicó el artículo «Attention Is All You Need» (2017), en el que se propuso el Transformer basado en autoatención, que sentó las bases de los LLM actuales.
Veamos un caso hipotético. A, una empresa de componentes para automóviles (1,180 colaboradores, ingresos anuales de KRW 420,000,000,000 (≈ US$314,357,100)), unió su manual de calidad con las especificaciones de sus clientes y abrió un chatbot interno de preguntas y respuestas. Tres semanas después del lanzamiento, Garantía de Calidad presentó quejas porque «la respuesta cambia cada vez que se pregunta lo mismo». Tardaron 6 semanas en encontrar la causa.
- El subgerente Kim, a cargo del equipo de TF de IA, estaba pegando en el prompt las 320 páginas completas de la especificación. La premisa del equipo era que, si se incluye todo, el modelo solo verá lo importante.
- El jefe de sección Lee, de Garantía de Calidad, probó él mismo 30 preguntas: las condiciones de las primeras 20 páginas y las últimas 15 páginas las respondió con exactitud, pero la tolerancia de tratamiento térmico cerca de la página 150 la falló 2 de cada 3 veces.
- El responsable de datos Park, que llegó como asesor externo, sostuvo que el modelo no es perezoso, sino que su atención está dispersa, y propuso dividir la especificación en 40 bloques por cláusula.
- Al recibir una consulta, pasamos a exigir como datos obligatorios el proceso aplicable y el nombre del cliente, y configuramos que la búsqueda incluya solo las 5 cláusulas relevantes. El promedio de tokens de entrada bajó de 180,000 a 9,000.
- Un mes después, al volver a medir las mismas 30 preguntas, la tasa de acierto pasó de 61% a 92%, el tiempo medio de respuesta bajó de 14 segundos a 3 segundos y el costo mensual de API pasó de KRW 7,800,000 (≈ US$5,840) a KRW 1,200,000 (≈ US$900).