LLMOps
Large Language Model Operations
¿Qué es LLMOps?
- Sistema de gestión operativa de servicios LLM (la versión LLM de MLOps)
- Ejes: versiones de prompts · conjunto de evaluación · monitoreo de costos
- El punto de partida no es la herramienta, sino construir el conjunto de evaluación
Lo que LLMOps cambia en realidad es el criterio de despliegue. En el software tradicional, si las pruebas pasan, el sistema sale a producción; pero en un servicio LLM la salida cambia cada vez, aunque la pregunta sea la misma, así que hay que juzgar por puntaje, no por aprobado o reprobado. Por eso la puerta de liberación pasa de «la compilación fue exitosa» a «el puntaje del conjunto de evaluación no baja respecto de la versión anterior», y lo que se controla por versiones se amplía a la combinación de prompts, configuración de búsqueda y versión del modelo. Se trata de manejar situaciones en las que el código es el mismo, pero cambia la calidad del servicio.
Conviene organizar la evaluación en tres capas, no en un solo bloque. Lo que una máquina puede juzgar, como el cumplimiento del formato JSON o las palabras prohibidas, se revisa en todos los casos; lo ambiguo, como el tono o si la respuesta cita evidencias, se evalúa con un LLM como calificador; y la calidad final la revisan personas sobre una muestra. Cuanto más abajo, más precisa es la capa, pero también más costosa. El conjunto de evaluación no tiene por qué ser grande desde el principio: con 50 a 100 casos de fallo que realmente generaron reclamos, la prueba de regresión ya funciona bien. Como la salida no es determinista, conviene ejecutar la misma entrada de 3 a 5 veces y mirar el promedio y la dispersión, para no confundir una buena racha con habilidad.
El costo y la latencia también van en la misma línea que la gestión de prompts. Más que el precio unitario por token o la negociación con el proveedor, pesa la estructura de las llamadas: enrutar cada tipo de consulta a un modelo pequeño o grande y cachear las preguntas repetidas bastan con frecuencia para que el gasto caiga a menos de la mitad. En cuanto a la latencia, lo que define la calidad percibida no es el tiempo total de respuesta sino el tiempo hasta que aparece la primera palabra, así que hay que medir por separado si hay streaming y la demora de la etapa de búsqueda para ver el cuello de botella.
El desfase más común en la práctica es incorporar herramientas antes de tener un conjunto de evaluación. El panel muestra gráficos bien presentados del uso de tokens y la latencia, pero nadie ve si la respuesta fue correcta; así, cuando el proveedor cambia de versión y la calidad cae, el problema se descubre solo cuando llegan las quejas de los clientes. Confiar ciegamente en el calificador LLM también es riesgoso: si las personas no verifican periódicamente los criterios de calificación, las respuestas que suenan bien pero son incorrectas reciben puntajes altos. Igual de riesgoso es reemplazar los guardrails por una sola línea al final del prompt, como «no menciones datos personales»: el prompt del sistema es una solicitud, no un mecanismo de bloqueo, así que sin un filtro en la salida y reglas de transferencia a un agente humano, los errores llegan tal cual al cliente.
Sungil KimExalumno de KAIST y de Samsung Electronics; experto global en pitching, que formó equipos ganadores en los concursos de pitching de la Organización Mundial del Turismo (ONU) y Select USA IR
Ara LimExperta en liderazgo global, IA y comunicación empresarialTérmino derivado de MLOps (la extensión de DevOps para modelos de aprendizaje automático). Tras la explosión de aplicaciones basadas en LLM desde finales de 2022, con ChatGPT, se separó como un ámbito propio que atiende desafíos específicos, como la gestión de prompts, la evaluación y la optimización de costos.
Veamos un caso hipotético. La empresa A, distribuidora de mobiliario de oficina con 240 colaboradores, atendía 6,000 consultas mensuales de clientes con un equipo de 9 personas de Atención al Cliente. En octubre del año pasado abrió un chatbot de respuestas automáticas con LLM. Durante la demostración las respuestas eran fluidas, pero en tres meses las quejas de que «recibieron una indicación distinta a su pedido» subieron hasta 12 por semana. Lo grave es que no quedó registro de quién cambió el prompt ni cuándo.
- El jefe de sección Kim, del equipo de CS, extrajo 80 consultas que habían generado reclamaciones por respuestas incorrectas en los registros de atención de los últimos 3 meses y les añadió respuestas modelo; así nació el primer conjunto de evaluación de la empresa A.
- El equipo de desarrollo trasladó los prompts dispersos a un repositorio Git y, con cada solicitud de cambio, ejecuta una calificación automática de 80 casos; además, aplicó una regla que bloquea la publicación si la puntuación es inferior a la de la versión anterior.
- Dos semanas después, el proveedor del modelo actualizó la versión y la precisión de las respuestas sobre consultas de envíos bajó de 91% a 74%. La evaluación automática lo detectó primero y ese mismo día se revirtió el cambio. El subgerente Kim comentó: «Si el cliente lo hubiera notado antes, habría sido un problema grave».
- El gerente de operaciones Park revisó los registros de llamadas y comprobó que las consultas simples de envíos e inventario eran el 62% del total. Envió solo ese tramo a un modelo pequeño y el costo mensual de la API bajó de KRW 4,200,000 (≈ US$3,140) a KRW 1,800,000 (≈ US$1,350).
- Los cálculos de montos de reembolso y las preguntas de verificación de datos personales se derivan a un agente en lugar de responderse, y las respuestas que recibían 👎 se agregaban al conjunto de evaluación en una revisión de 30 minutos cada viernes.
- Tres meses después, el conjunto de evaluación había crecido a 240 casos, la tasa de resolución de las respuestas automáticas subió del 46% al 68%, y las reclamaciones por respuestas incorrectas bajaron de 12 a 3 por semana, lo que permitió al equipo de atención al cliente destinar 2 personas al trámite de devoluciones.