Destilación de conocimiento
Knowledge Distillation
¿Qué es la destilación de conocimiento?
- Modelo grande (maestro) → modelo pequeño (alumno)
- Ligero, sin perder rendimiento
- Aligerar junto con la cuantización
Al introducir la destilación de conocimiento, cambian las preguntas que se hace el equipo. Ya no se pregunta «¿cuál modelo es el más inteligente?», sino «¿con qué modelo, y a qué costo, se puede obtener el nivel que necesita este trabajo?». El modelo grande deja de ser un producto que se pone en servicio y pasa a ser un equipo que genera señales de entrenamiento, mientras que el tráfico real lo atiende el modelo pequeño. Por eso el éxito del proyecto depende menos de elegir el modelo que de diseñar qué preguntarle al maestro y con qué frecuencia.
Hay dos enfoques principales. La destilación de caja blanca, que también aprovecha las distribuciones de probabilidad internas (logits) del modelo maestro, solo es posible con modelos de código abierto cuyos pesos se pueden consultar. Si el modelo es una API comercial y no se puede ver por dentro, se usa la destilación de caja negra (a nivel de secuencia): el modelo alumno aprende de las respuestas de texto que genera el maestro, como si fueran la respuesta correcta. Suele mezclarse con la cuantización y la poda, pero esas técnicas son trabajos que reducen la precisión numérica o las conexiones del mismo modelo, mientras que la destilación entrena un modelo nuevo con otra estructura. No son excluyentes: un modelo alumno destilado al que luego se aplica cuantización es una combinación frecuente en el despliegue real.
Sin embargo, no funciona en cualquier tarea. Cuanto más se exige conocimiento general y razonamiento extenso, más difícil le resulta al alumno alcanzar al maestro. En cambio, la brecha se cierra rápido en trabajos de alcance bien definido, como clasificar consultas, resumir o informar sobre normas internas. En la práctica, se reducen los parámetros a una quinta o una décima parte y se fija como umbral de aprobación alrededor del 95% del desempeño del maestro en el conjunto de evaluación de esa tarea. Si no se alcanza, en lugar de aumentar los datos sin criterio, primero se trabaja en filtrar las respuestas incorrectas que produjo el maestro.
El error más común es confiar en el maestro sin revisarlo. Si el maestro da una respuesta equivocada o una norma desactualizada, el alumno repite ese error con más seguridad, y después cuesta mucho rastrear el origen. Además, si se despliega mirando solo el puntaje promedio, el modelo fallará primero en los casos excepcionales, que representan entre el 3% y el 5% de las consultas; por eso se necesita un conjunto de evaluación dividido por tipo de falla. Algunos proveedores prohíben en sus condiciones de servicio entrenar modelos propios con las salidas de una API comercial, así que no se debe omitir la revisión legal.
Seolyeong ParkCon 17 años de experiencia práctica y más de 200 sesiones impartidas, especialista en IA generativa y AX que permite usar la herramienta de inmediato, incluso a quienes no tienen formación técnica
Sungil KimExalumno de KAIST y Samsung Electronics, creó equipos ganadores en concursos de pitch IR para la Organización Mundial del Turismo de la ONU y Select USA; experto global en pitchingGeoffrey Hinton y otros lo formalizaron en un artículo de 2015 como método para trasladar el conocimiento de un modelo grande a uno pequeño.
Veamos un caso hipotético. Se trata de la empresa A, fabricante de electrodomésticos, con ventas anuales por KRW 90,000,000,000 (≈ US$67,362,200) y 240 colaboradores. Su chatbot de atención al cliente funciona con la API de un modelo grande externo, y la tarifa mensual subió hasta KRW 27,000,000 (≈ US$20,200). En temporada alta, el tiempo de respuesta se alargó a un promedio de 3.2 segundos y se acumularon las consultas de traspaso a asesores. Al área de CS se le encargó reducir a la vez el costo y la demora en tres meses.
- Cuando el director de CS zanjó: «Con KRW 27,000,000 (≈ US$20,200) al mes basta con el salario de tres asesores», el líder del equipo de datos extrajo 180,000 registros de consultas de los últimos seis meses y los pasó por el modelo maestro para generar respuestas junto con los artículos de respaldo.
- Dos gerentes de atención al cliente revisaron por muestreo, durante tres semanas, las respuestas generadas y eliminaron el 7.4% de respuestas incorrectas y de normas de reembolso ya desactualizadas. El principio del equipo fue: «Lo que el maestro se equivoca nunca se pasa al alumno».
- Como modelo alumno se usó un modelo de código abierto de 7 mil millones de parámetros, que se ajustó durante 11 días con 2 GPU internas. El gerente de infraestructura fijó como criterio de aprobación una respuesta de 1 segundo y un costo de servidor de KRW 5,000,000 (≈ US$3,740) o menos al mes.
- En la primera validación, las 200 preguntas más frecuentes alcanzaron un 96% frente al maestro, pero las consultas poco comunes, como la cancelación de un pago fraccionado, llegaron solo al 71%. Por eso se destilaron 2,300 casos adicionales de ese tipo y se volvió a entrenar el modelo.
- En la semana 8 de la transición, el costo mensual de la API bajó de KRW 27,000,000 (≈ US$20,200) a KRW 4,200,000 (≈ US$3,140) con servidores propios, y el tiempo de respuesta promedio se redujo de 3.2 a 0.9 segundos. La tasa de transferencia a un agente humano se mantuvo prácticamente igual: de 12.1% a 12.8%.