Conocimiento · Fundamentos de IA

LLMOps

Large Language Model Operations

📂Fundamentos de IA⏱Lectura de 2 min📊Avanzado🔗Relacionados 4

¿Qué es LLMOps?

Definición en una línea
Es el sistema de gestión (Large Language Model Operations) para operar de forma estable servicios basados en LLM en un entorno real. Es la versión de MLOps especializada en LLM e incluye el control de versiones de prompts, la evaluación de calidad, el monitoreo de costos y latencia, y la operación de salvaguardas.
Este tema, como capacitación interna📚 Curso relacionado💬 Consulta sobre capacitación
⚡ Resumen en 3 líneas
  • Sistema de gestión operativa de servicios LLM (la versión LLM de MLOps)
  • Ejes: versiones de prompts · conjunto de evaluación · monitoreo de costos
  • El punto de partida no es la herramienta, sino construir el conjunto de evaluación

Lo que LLMOps cambia en realidad es el criterio de despliegue. En el software tradicional, si las pruebas pasan, el sistema sale a producción; pero en un servicio LLM la salida cambia cada vez, aunque la pregunta sea la misma, así que hay que juzgar por puntaje, no por aprobado o reprobado. Por eso la puerta de liberación pasa de «la compilación fue exitosa» a «el puntaje del conjunto de evaluación no baja respecto de la versión anterior», y lo que se controla por versiones se amplía a la combinación de prompts, configuración de búsqueda y versión del modelo. Se trata de manejar situaciones en las que el código es el mismo, pero cambia la calidad del servicio.

Conviene organizar la evaluación en tres capas, no en un solo bloque. Lo que una máquina puede juzgar, como el cumplimiento del formato JSON o las palabras prohibidas, se revisa en todos los casos; lo ambiguo, como el tono o si la respuesta cita evidencias, se evalúa con un LLM como calificador; y la calidad final la revisan personas sobre una muestra. Cuanto más abajo, más precisa es la capa, pero también más costosa. El conjunto de evaluación no tiene por qué ser grande desde el principio: con 50 a 100 casos de fallo que realmente generaron reclamos, la prueba de regresión ya funciona bien. Como la salida no es determinista, conviene ejecutar la misma entrada de 3 a 5 veces y mirar el promedio y la dispersión, para no confundir una buena racha con habilidad.

El costo y la latencia también van en la misma línea que la gestión de prompts. Más que el precio unitario por token o la negociación con el proveedor, pesa la estructura de las llamadas: enrutar cada tipo de consulta a un modelo pequeño o grande y cachear las preguntas repetidas bastan con frecuencia para que el gasto caiga a menos de la mitad. En cuanto a la latencia, lo que define la calidad percibida no es el tiempo total de respuesta sino el tiempo hasta que aparece la primera palabra, así que hay que medir por separado si hay streaming y la demora de la etapa de búsqueda para ver el cuello de botella.

El desfase más común en la práctica es incorporar herramientas antes de tener un conjunto de evaluación. El panel muestra gráficos bien presentados del uso de tokens y la latencia, pero nadie ve si la respuesta fue correcta; así, cuando el proveedor cambia de versión y la calidad cae, el problema se descubre solo cuando llegan las quejas de los clientes. Confiar ciegamente en el calificador LLM también es riesgoso: si las personas no verifican periódicamente los criterios de calificación, las respuestas que suenan bien pero son incorrectas reciben puntajes altos. Igual de riesgoso es reemplazar los guardrails por una sola línea al final del prompt, como «no menciones datos personales»: el prompt del sistema es una solicitud, no un mecanismo de bloqueo, así que sin un filtro en la salida y reglas de transferencia a un agente humano, los errores llegan tal cual al cliente.

Capacitaciones en las que aparece este término · IA·DX
Cursos recomendados · Instructores recomendados · Mini cotización
🧮 Mini cotización · Criterio de honorarios
Aprox. KRW 1,200,000 (≈ US$900)Charla especial de 2 horas · hasta 20 personas · en coreano
Solicitar cotización formal con estas condiciones →
💡 Dicho de forma sencilla
Es como un restaurante: hay que documentar las recetas (prompts), mantener el sabor constante con pruebas de degustación (conjunto de evaluación) y controlar el costo de los ingredientes (costo de tokens). Solo así el cliente vive la misma calidad cada vez que vuelve.
Por qué es importante en la práctica
En un servicio LLM el código puede ser el mismo, pero la calidad puede deteriorarse en silencio por una actualización del modelo o un cambio en el prompt. Sin sistemas de evaluación y monitoreo, no se puede pasar del «éxito de la demo» al «éxito en la operación».
⚠️ Malentendidos comunes
Es fácil pensar que «con los LLM basta con llamar a la API y la operación es sencilla», pero en estos servicios la calidad puede deteriorarse en silencio solo por una actualización del modelo o un cambio en el prompt. Por eso, los sistemas de evaluación y monitoreo son tan importantes como el desarrollo del propio modelo.
Origen y fuentes

Término derivado de MLOps (la extensión de DevOps para modelos de aprendizaje automático). Tras la explosión de aplicaciones basadas en LLM desde finales de 2022, con ChatGPT, se separó como un ámbito propio que atiende desafíos específicos, como la gestión de prompts, la evaluación y la optimización de costos.

Fuente · MLOps · Práctica tradicional de DevOps · Ver original
Entender con un caso

Veamos un caso hipotético. La empresa A, distribuidora de mobiliario de oficina con 240 colaboradores, atendía 6,000 consultas mensuales de clientes con un equipo de 9 personas de Atención al Cliente. En octubre del año pasado abrió un chatbot de respuestas automáticas con LLM. Durante la demostración las respuestas eran fluidas, pero en tres meses las quejas de que «recibieron una indicación distinta a su pedido» subieron hasta 12 por semana. Lo grave es que no quedó registro de quién cambió el prompt ni cuándo.

  1. El jefe de sección Kim, del equipo de CS, extrajo 80 consultas que habían generado reclamaciones por respuestas incorrectas en los registros de atención de los últimos 3 meses y les añadió respuestas modelo; así nació el primer conjunto de evaluación de la empresa A.
  2. El equipo de desarrollo trasladó los prompts dispersos a un repositorio Git y, con cada solicitud de cambio, ejecuta una calificación automática de 80 casos; además, aplicó una regla que bloquea la publicación si la puntuación es inferior a la de la versión anterior.
  3. Dos semanas después, el proveedor del modelo actualizó la versión y la precisión de las respuestas sobre consultas de envíos bajó de 91% a 74%. La evaluación automática lo detectó primero y ese mismo día se revirtió el cambio. El subgerente Kim comentó: «Si el cliente lo hubiera notado antes, habría sido un problema grave».
  4. El gerente de operaciones Park revisó los registros de llamadas y comprobó que las consultas simples de envíos e inventario eran el 62% del total. Envió solo ese tramo a un modelo pequeño y el costo mensual de la API bajó de KRW 4,200,000 (≈ US$3,140) a KRW 1,800,000 (≈ US$1,350).
  5. Los cálculos de montos de reembolso y las preguntas de verificación de datos personales se derivan a un agente en lugar de responderse, y las respuestas que recibían 👎 se agregaban al conjunto de evaluación en una revisión de 30 minutos cada viernes.
  6. Tres meses después, el conjunto de evaluación había crecido a 240 casos, la tasa de resolución de las respuestas automáticas subió del 46% al 68%, y las reclamaciones por respuestas incorrectas bajaron de 12 a 3 por semana, lo que permitió al equipo de atención al cliente destinar 2 personas al trámite de devoluciones.
Términos relacionados
Capacitaciones relacionadas con este término
📚Capacitación para formar consultores de AXCapacitación corporativa de Nanum Consultoría · presencial/en líneaVer curso →
¿Necesita capacitación interna sobre este tema?
Reciba de inmediato un currículo y una cotización personalizados para su equipo.
Consultar sobre capacitación
Última modificación 2026-09-13 · Revisado por John Kim

Preguntas frecuentes

MLOps se centra en el pipeline de entrenamiento y despliegue de un modelo propio, mientras que LLMOps se centra en gestionar la calidad de los prompts, el contexto y las salidas sobre una API de LLM externa. Es preciso decir que el objeto de gestión pasó de los «pesos del modelo» a «los prompts y la evaluación».
No se trata de comprar herramientas, sino de construir un conjunto de evaluación. Basta con definir de 100 a 200 entradas representativas con sus buenas respuestas para poder comparar con puntajes cada cambio de prompt o de modelo. Una herramienta LLMOps sin conjunto de evaluación es como un auto sin tablero de instrumentos.
Un LLM puede responder con otro estilo o formato al mismo prompt cuando cambia de versión. Si hay lógica posterior que depende del formato de salida (como JSON), aparecen caídas de calidad silenciosas o errores de análisis. Por eso, fijar la versión del modelo y hacer pruebas de regresión con el conjunto de evaluación antes de cada actualización es una práctica estándar.
Hay tres formas principales. Enviar las consultas sencillas a un modelo pequeño y barato, y solo las difíciles a uno grande (enrutamiento de modelos); el caché de prompts para el contexto que se repite; y la «dieta de prompts», que reduce el contexto y la salida innecesariamente largos. Solo con esto, el costo suele cambiar varias veces.