Conocimiento · Fundamentos de IA

Mezcla de expertos · MoE

Mixture of Experts

📂Fundamentos de IA⏱Lectura de 2 min📊Avanzado🔗Relacionados 4

¿Qué es la mezcla de expertos?

Definición en una línea
En lugar de un único modelo gigante, tiene varios submodelos «expertos» (Mixture of Experts) y usa en cada entrada solo los expertos que necesita. Es una estructura eficiente.
¿Este tema, en capacitación interna?📚 Curso relacionado💬 Consulta de capacitación
⚡ Resumen en 3 líneas
  • Activar solo los expertos necesarios entre varios
  • Grande, pero con cálculo ahorrado (activación dispersa)
  • Adoptado por los grandes modelos más recientes

Lo que realmente cambia MoE es la relación que antes ataba el tamaño del modelo al costo de inferencia. Hasta ahora, si se duplicaban los parámetros, la carga de cálculo para procesar cada token también se duplicaba aproximadamente. Con MoE ambas cosas se separan, así que al revisar las especificaciones de un modelo hay que mirar dos cifras: parámetros totales y parámetros activos. La calidad de las respuestas la sube el total, pero el monto que aparece en la factura lo determinan los activos.

Desde la estructura, lo habitual es dividir la capa feedforward de un bloque Transformer en varios expertos, y que un router elija, token por token, solo uno o dos de los principales. Si hay 64 expertos y se usan 2, la proporción activa ronda apenas el 3%. Aquí no hay que confundirlo con el ensamble. El ensamble ejecuta todos los modelos y combina los resultados, mientras que MoE es, por diseño, una arquitectura que ejecuta solo uno seleccionado. Además, los expertos no se dividen en áreas reconocibles para las personas, como «experto en derecho» o «experto en medicina». Se separan solos durante el entrenamiento, así que no es posible que una persona designe qué experto se encargará de qué, y para evitar que la carga se concentre en unos pocos expertos, se entrena aplicando una pérdida de equilibrio por separado.

El criterio para decidir su adopción es, sorprendentemente, simple. Si la empresa usa un modelo prestado por API, la presencia de MoE solo se nota en el precio por token y la velocidad de respuesta, así que no tiene mucho sentido analizar su estructura interna. En cambio, si planea operar un modelo directamente, la historia cambia por completo. Frente a un modelo denso (dense) de la misma calidad, se intercambia más memoria a cambio de menos cálculo, y eso cambia el criterio mismo para elegir el equipo.

En la práctica, este es el punto donde más se tropieza: la memoria. Es común calcular que «como tiene 13,000 millones de parámetros activos, basta una GPU», y arrancar la construcción propia, para luego chocar con el muro de que todos los parámetros totales deben estar cargados en memoria, y el presupuesto de equipos se multiplica varias veces. El error está en pasar por alto que lo que MoE reduce es la carga de cómputo, no la memoria. Lo mismo ocurre cuando llegan solicitudes simultáneas: si los tokens de un mismo lote llaman a expertos distintos, casi todos terminan activándose, y el ahorro esperado desaparece primero en los horarios de mayor tráfico.

Capacitaciones en las que aparece este término · IA·DX
Cursos recomendados · Instructores recomendados · Mini cotización
🧮 Mini cotización · Criterio de honorarios
Aprox. KRW 1,200,000 (≈ US$900)Charla especial de 2 horas · hasta 20 personas · en coreano
Solicitar cotización formal con estas condiciones →
💡 Dicho de forma sencilla
Como un hospital que deriva cada paciente solo al especialista que corresponde: en cada consulta se usan únicamente algunos expertos, y así se gana eficiencia.
Por qué es importante en la práctica
Es una forma de «hacer crecer el modelo sin disparar los costos». Es un concepto clave para entender la eficiencia de los grandes modelos más recientes.
Origen y fuentes

El concepto de mezcla de expertos fue planteado en 1991 en investigaciones de Jacobs, Hinton y otros, y en la era de los grandes modelos de lenguaje volvió a cobrar relevancia como método eficiente de escalado.

Fuente · Jacobs, Hinton y otros (1991); Shazeer y otros, compuerta dispersa (2017)
Entender con un caso

Veamos un caso hipotético. La empresa A, tercerizada de ajuste de siniestros de seguros generales con 240 colaboradores, conectó desde el año pasado una API de modelo de lenguaje de gran tamaño para atender consultas de clientes. Las llamadas mensuales llegaron a 3,800,000 y la factura alcanzó KRW 21,000,000 (≈ US$15,700). La dirección fijó como condición que «el presupuesto de IA del próximo año sea la mitad del actual». Es como recibir una tarea de tres meses: reducir solo los costos sin bajar la calidad.

  1. Al clasificar 30,000 registros de consultas, el líder de equipo Park, del equipo de plataforma de IA, encontró que el 62% se concentraba en dos tipos: «criterios de pago de seguros» y «reenvío de documentos», mientras que el resto se dispersaba en una larga cola.
  2. El líder de equipo Park propuso migrar a un modelo MoE de escala de 141,000 millones de parámetros totales y 13,000 millones activos, y verificó directamente durante dos semanas, con 5,000 consultas reales, la afirmación del proveedor de que «a igual calidad, el costo por token es un tercio».
  3. El jefe de infraestructura, Kim, que evaluaba combinarlo con una instalación propia, presentó una cotización de 8 GPU H100 con el argumento de que «aunque los parámetros activos sean 13 mil millones, hay que cargar en las GPU los 141 mil millones completos». El equipo descartó la construcción propia y decidió mantener la API.
  4. El día en que se acumularon de golpe las consultas de liquidación nocturna, el tiempo de respuesta se disparó a 1.7 veces lo habitual. Entonces se añadió una cola que libera 3,000 consultas por hora y se desviaron a caché las consultas repetitivas y simples.
  5. Tres meses después, el costo mensual de la API bajó de KRW 21,000,000 (≈ US$15,700) a KRW 7,800,000 (≈ US$5,840), y el tiempo promedio de primera respuesta de los agentes de atención al cliente pasó de 4 min 20 s a 2 min 50 s.
Términos relacionados
Capacitaciones relacionadas con este término
📚Introducción práctica a la IA de agentesCapacitación corporativa de Nanum Consultoría · presencial / en líneaVer curso →
¿Necesita capacitación interna sobre este tema?
Reciba de inmediato un currículo y una cotización personalizados para su equipo.
Consultar sobre capacitación
Última modificación 2026-09-13 · Revisado por John Kim

Preguntas frecuentes

Si se usan todos en cada caso, el costo se dispara. Si se eligen solo los expertos necesarios, se logran a la vez rendimiento y eficiencia.
Un modelo común siempre usa todo el modelo, y MoE usa solo una parte según cada entrada. Puede lograr el mismo rendimiento a menor costo.
Porque activa solo algunos expertos en cada consulta, logra un gran rendimiento y, al mismo tiempo, reduce el costo de cómputo.
Un modelo denso usa todo en cada consulta; MoE usa «solo los expertos necesarios». Es grande, pero eficiente.