Benchmark · Evaluación de modelos
Benchmark / Evaluation
¿Qué es un benchmark?
- Medición del rendimiento de modelos con un examen estándar
- Base para juzgar qué modelo es mejor
- Precaución con el sobreajuste al benchmark
Con benchmarks y evaluación, las conversaciones sobre modelos cambian. En lugar de la impresión de «este parece más inteligente», el argumento es un número como «7 y 22 respuestas incorrectas en 120 casos iguales». Lo que cambia más es la velocidad de la toma de decisiones. Si cada vez que se ajusta un prompt o se sube una versión del modelo existe un procedimiento para medir si mejoró respecto de antes, la decisión de desplegar se toma con un tablero de resultados y no según quién habla más fuerte en la sala. Los equipos sin sistema de evaluación siguen cambiando cosas sin saber si mejoraron o empeoraron, y un día, al recibir quejas de las áreas por baja calidad, no encuentran el punto al que volver.
Cada benchmark mide capacidades distintas. Los de conocimiento y razonamiento, los de tareas reales de modificación de código y los de tipo arena, que ordenan según votos de preferencia de las personas, miden cosas diferentes; por eso, el primer puesto en la tabla de posiciones no significa el primer puesto en nuestra tarea. El método de evaluación también varía. Las tareas con una respuesta exacta pueden calificarse automáticamente, pero en tareas con varias respuestas válidas, como resúmenes o respuestas de atención al cliente, se usa un método en el que se fija una rúbrica y la califica una persona o un segundo modelo (LLM-as-judge). Una evaluación propia no tiene por qué ser compleja. Entre 50 y 200 preguntas en las que un error cause problemas reales bastan para empezar, y lo decisivo es si las respuestas correctas fueron revisadas directamente por el equipo del negocio.
El error más común en la práctica es creer que una diferencia de decimales es una diferencia de capacidad. No es raro cambiar de modelo por una diferencia de 1 o 2 puntos en la puntuación pública y, al final, ver que la tasa de error en el propio trabajo sube. Los problemas públicos también pueden inflar las puntuaciones por contaminación de datos, cuando esas preguntas se mezclan en los datos de entrenamiento. Las evaluaciones propias también tienen trampas: si el juego de respuestas correctas se arma con respuestas de un modelo específico, la prueba queda a favor de ese modelo; y si un conjunto de evaluación se deja un año sin revisar, después de cambios en productos y reglamentos seguirá calificando con respuestas viejas como correctas. Que datos reales de clientes se mezclen con los datos de evaluación es otro punto que suele pasarse por alto, así que antes de usar modelos externos hay que verificar la anonimización.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)Surgió de la tradición de la investigación en aprendizaje automático, que creó conjuntos de datos y benchmarks estándar para comparar el rendimiento de forma justa. En la era de los modelos grandes se multiplican los benchmarks que evalúan distintas capacidades.
Veamos un caso hipotético. Es la historia de A, un fabricante de componentes industriales con 420 colaboradores y ventas anuales de KRW 230,000,000,000 (≈ US$172,148,000). Durante tres meses no lograron decidir si reemplazar el modelo de IA que usaban para redactar borradores de respuestas de atención al cliente por uno más reciente. Solo circulaba el artículo «primer puesto en benchmarks internacionales», pero nadie había medido por sí mismo con los documentos de la empresa.
- El líder del equipo de CS extrajo de los casos de los últimos seis meses 120 preguntas en las que «si se equivoca aquí, se convierte en reclamo», y junto con dos agentes veteranos revisó una por una las respuestas correctas, armando un conjunto de evaluación propio.
- El gerente del equipo de IA (TF) corrió 120 casos con el mismo prompt en tres modelos candidatos y calificó tres criterios en escala de 5 puntos: errores de hecho, respuestas incorrectas sobre especificaciones y adecuación del tono. Dos evaluadores calificaron por separado y revisaron solo los casos con diferencias.
- El resultado fue distinto de lo esperado. El modelo número 1 en benchmarks públicos dio un 18% de respuestas incorrectas en consultas de especificaciones, mientras que un modelo con menor posición dio un 7%. El jefe de equipo resumió en la reunión: «el primero en el ranking de la prensa no fue el primero para nosotros».
- El subgerente del equipo de sistemas de información sumó costo y velocidad a la precisión. Con tiempos de respuesta promedio de 6.5 s y 3.2 s, y una diferencia de costo mensual de KRW 1,800,000 (≈ US$1,350) para 12,000 consultas al mes, colocó todo en una sola tabla y redujo los candidatos finales a dos modelos.
- La tasa en que los agentes reescriben el borrador después de adoptarlo bajó de 34% a 12%, y el tiempo de procesamiento por caso pasó de un promedio de 4 min 20 s a 2 min 50 s. Después, cada mes se sumaron 20 consultas nuevas al conjunto de evaluación y se consolidó el procedimiento de volver a medir con el mismo examen cada vez que se cambia de modelo.