MLOps
Machine Learning Operations
¿Qué es MLOps?
- Sistema para desarrollar, desplegar y operar modelos de ML
- DevOps de la IA
- Detección de drift y reentrenamiento
Lo que cambia en una organización con MLOps no es la precisión del modelo, sino «poder rastrear quién cambió qué y cuándo». Los proyectos de IA anteriores a MLOps solo funcionan en el cuaderno de su responsable. Si esa persona se ausenta, nadie puede volver a construir el modelo que tuvo buen rendimiento el mes pasado. MLOps guarda como un solo conjunto la instantánea de datos, los hiperparámetros, el código de entrenamiento y las métricas de resultado, y así convierte los experimentos en activos. El centro de gravedad pasa de la competencia por el rendimiento a la competencia por la confiabilidad.
En la práctica, la madurez se mide por etapas. El nivel 0 es aquel en que las personas entrenan y despliegan el modelo a mano; el nivel 1 es aquel en que el pipeline de entrenamiento corre de forma automática; y el nivel 2 es aquel en que cada cambio en el código llega automáticamente a validación y despliegue. La mayoría de las empresas coreanas está entre el nivel 0 y el 1. La diferencia decisiva con DevOps está en lo que se gestiona. El software común solo necesita versionar el código, pero el aprendizaje automático implica tres ejes que se mueven al mismo tiempo: código, datos y modelo. La deriva también se divide en dos. Está la deriva de datos, en la que cambia la distribución de los datos de entrada, y la deriva de concepto, en la que la entrada sigue igual pero cambia el significado de la respuesta correcta. Esta última se descubre mucho más tarde.
El error más común es pensar que, con instalar una plataforma, ya se tiene MLOps. Antes que las herramientas hay que definir «qué se considera una caída de rendimiento» y «quién aprueba el reentrenamiento». Muchas veces el monitoreo se limita a vigilar la CPU y el tiempo de respuesta del servidor, pero una situación en la que la infraestructura está sana y solo fallan las predicciones nunca aparece en ese tablero. Si la etiqueta correcta se confirma dos meses después, durante ese tiempo siguen saliendo presupuestos y evaluaciones basados en predicciones erróneas. Y al revés: reentrenar automáticamente y sin condiciones es aún más riesgoso. Si el resultado que el modelo produjo mal vuelve a entrar como datos de entrenamiento, el error se amplifica solo, y llega un punto en que no es posible reconstruir desde cuándo empezó a fallar.
Hyerang ParkEspecialista en storytelling de contenidos y en contenidos de marca con IA
Jaryong KooDoctor en marketing y referente en IA, análisis de datos y marca personalConcepto que aplica el DevOps del software al aprendizaje automático; se consolidó junto con la expansión de la comercialización de la IA.
Veamos un caso hipotético. La empresa A, dedicada a la distribución de alimentos en línea, tiene 900 colaboradores y ventas anuales de KRW 240,000,000,000 (≈ US$179,632,700). Hace dos años implementó un modelo de pronóstico de demanda y registró un error de predicción inicial (MAPE) de 8%, pero al cabo de un año y medio la tasa de desperdicio de productos frescos volvió a subir. En el área operativa se escuchaba con frecuencia: «Usarlo o no, es lo mismo».
- Al revisar de nuevo todos los registros de predicción de los últimos 12 meses, el líder de equipo Kim, del área de análisis de datos, encontró que el MAPE había subido del 8% al 19%. Al rastrear la causa, vio que el modelo seguía aprendiendo de los patrones de consumo de 2022.
- Al intentar reentrenar, resultó que el código de entrenamiento estaba disperso en 47 archivos repartidos en las computadoras portátiles de tres responsables. El líder de equipo Kim preguntó: «¿Hay alguien que pueda reproducir hoy exactamente el modelo del año pasado?», y nadie levantó la mano.
- Se conectó una herramienta de seguimiento de experimentos para registrar automáticamente las instantáneas de datos, los parámetros y las métricas de evaluación. El despliegue, que antes requería 3 días de trabajo manual, se redujo a 2 horas al unirlo en un pipeline. A propósito se dejó un único paso de aprobación manual, a cargo del jefe de sección Park, responsable de infraestructura.
- Cambiamos la monitorización: en lugar de indicadores de servidor, ahora se observan el MAPE semanal y los cambios en la distribución de las principales variables de entrada. Cuando se supera el umbral, llega una alerta al canal compartido de los equipos de compras y análisis, y se estableció la regla de responder con la causa en menos de 24 horas.
- El reentrenamiento se ejecuta automáticamente, pero el despliegue solo promueve los modelos que superan la comparación campeón-retador. De hecho, en esta etapa se filtraron dos modelos retadores que, al mezclarse datos de promociones, en realidad rindieron peor.
- Seis meses después, el MAPE volvió a situarse en el 9%, y el desperdicio de productos frescos bajó de 4.1% a 2.6% mensual. El tiempo que tardaba en detectarse una anomalía de desempeño también se redujo de 3 semanas en promedio a menos de un día.