Mezcla de expertos · MoE
Mixture of Experts
¿Qué es la mezcla de expertos?
- Activar solo los expertos necesarios entre varios
- Grande, pero con cálculo ahorrado (activación dispersa)
- Adoptado por los grandes modelos más recientes
Lo que realmente cambia MoE es la relación que antes ataba el tamaño del modelo al costo de inferencia. Hasta ahora, si se duplicaban los parámetros, la carga de cálculo para procesar cada token también se duplicaba aproximadamente. Con MoE ambas cosas se separan, así que al revisar las especificaciones de un modelo hay que mirar dos cifras: parámetros totales y parámetros activos. La calidad de las respuestas la sube el total, pero el monto que aparece en la factura lo determinan los activos.
Desde la estructura, lo habitual es dividir la capa feedforward de un bloque Transformer en varios expertos, y que un router elija, token por token, solo uno o dos de los principales. Si hay 64 expertos y se usan 2, la proporción activa ronda apenas el 3%. Aquí no hay que confundirlo con el ensamble. El ensamble ejecuta todos los modelos y combina los resultados, mientras que MoE es, por diseño, una arquitectura que ejecuta solo uno seleccionado. Además, los expertos no se dividen en áreas reconocibles para las personas, como «experto en derecho» o «experto en medicina». Se separan solos durante el entrenamiento, así que no es posible que una persona designe qué experto se encargará de qué, y para evitar que la carga se concentre en unos pocos expertos, se entrena aplicando una pérdida de equilibrio por separado.
El criterio para decidir su adopción es, sorprendentemente, simple. Si la empresa usa un modelo prestado por API, la presencia de MoE solo se nota en el precio por token y la velocidad de respuesta, así que no tiene mucho sentido analizar su estructura interna. En cambio, si planea operar un modelo directamente, la historia cambia por completo. Frente a un modelo denso (dense) de la misma calidad, se intercambia más memoria a cambio de menos cálculo, y eso cambia el criterio mismo para elegir el equipo.
En la práctica, este es el punto donde más se tropieza: la memoria. Es común calcular que «como tiene 13,000 millones de parámetros activos, basta una GPU», y arrancar la construcción propia, para luego chocar con el muro de que todos los parámetros totales deben estar cargados en memoria, y el presupuesto de equipos se multiplica varias veces. El error está en pasar por alto que lo que MoE reduce es la carga de cómputo, no la memoria. Lo mismo ocurre cuando llegan solicitudes simultáneas: si los tokens de un mismo lote llaman a expertos distintos, casi todos terminan activándose, y el ahorro esperado desaparece primero en los horarios de mayor tráfico.
Miru LeeExperta en profesiones del futuro, marca personal y capacitación en herramientas de IA
Kwangdong MinExperto en modelos de negocio, modelos de ingresos e investigación de mercadoEl concepto de mezcla de expertos fue planteado en 1991 en investigaciones de Jacobs, Hinton y otros, y en la era de los grandes modelos de lenguaje volvió a cobrar relevancia como método eficiente de escalado.
Veamos un caso hipotético. La empresa A, tercerizada de ajuste de siniestros de seguros generales con 240 colaboradores, conectó desde el año pasado una API de modelo de lenguaje de gran tamaño para atender consultas de clientes. Las llamadas mensuales llegaron a 3,800,000 y la factura alcanzó KRW 21,000,000 (≈ US$15,700). La dirección fijó como condición que «el presupuesto de IA del próximo año sea la mitad del actual». Es como recibir una tarea de tres meses: reducir solo los costos sin bajar la calidad.
- Al clasificar 30,000 registros de consultas, el líder de equipo Park, del equipo de plataforma de IA, encontró que el 62% se concentraba en dos tipos: «criterios de pago de seguros» y «reenvío de documentos», mientras que el resto se dispersaba en una larga cola.
- El líder de equipo Park propuso migrar a un modelo MoE de escala de 141,000 millones de parámetros totales y 13,000 millones activos, y verificó directamente durante dos semanas, con 5,000 consultas reales, la afirmación del proveedor de que «a igual calidad, el costo por token es un tercio».
- El jefe de infraestructura, Kim, que evaluaba combinarlo con una instalación propia, presentó una cotización de 8 GPU H100 con el argumento de que «aunque los parámetros activos sean 13 mil millones, hay que cargar en las GPU los 141 mil millones completos». El equipo descartó la construcción propia y decidió mantener la API.
- El día en que se acumularon de golpe las consultas de liquidación nocturna, el tiempo de respuesta se disparó a 1.7 veces lo habitual. Entonces se añadió una cola que libera 3,000 consultas por hora y se desviaron a caché las consultas repetitivas y simples.
- Tres meses después, el costo mensual de la API bajó de KRW 21,000,000 (≈ US$15,700) a KRW 7,800,000 (≈ US$5,840), y el tiempo promedio de primera respuesta de los agentes de atención al cliente pasó de 4 min 20 s a 2 min 50 s.