RLHF · Aprendizaje por refuerzo con retroalimentación humana
Reinforcement Learning from Human Feedback
¿Qué es RLHF?
- Ajustar la IA con preferencias humanas
- Más útil y más seguro
- El secreto que hizo de ChatGPT una herramienta realmente útil
Un modelo de lenguaje que solo terminó el pre-entrenamiento elige la palabra siguiente más plausible, pero no tiene ningún criterio para juzgar qué respuesta es mejor. Lo que realmente cambia el RLHF no es la cantidad de conocimiento del modelo, sino el origen de sus criterios de juicio. Exigencias como «sé amable» o «no mientas» son difíciles de convertir en una puntuación con código, pero elegir cuál de dos respuestas es mejor lo hace una persona en pocos segundos. El RLHF convierte un problema difícil de calificar en otro fácil de comparar, y por eso fue posible escalarlo.
El procedimiento estándar tiene tres etapas. Primero, se hace un ajuste fino supervisado (SFT) con miles de respuestas modelo; después, se entrena un modelo de recompensa con decenas de miles de comparaciones en las que personas ordenan pares de respuestas a una misma pregunta; por último, se aplica aprendizaje por refuerzo para aumentar esa recompensa. En los últimos tiempos se usan mucho variantes que reducen costos, como DPO, que aprende directamente de los pares preferidos sin modelo de recompensa, y RLAIF, que reemplaza a los evaluadores humanos por IA. Las fronteras con otras técnicas también están claras. La ingeniería de prompts no modifica el modelo; el dominio de ajuste fino incorpora conocimiento y estilo; pero el RLHF es un trabajo que reordena prioridades: decide qué parte de lo que el modelo ya sabe sale primero. No crea conocimiento que antes no existía.
El accidente más común en la práctica es el hackeo de recompensa. El modelo no aprende a dar «buenas respuestas», sino los patrones que los evaluadores puntuaron alto. Si el panel levanta la mano por respuestas largas y corteses, el modelo empieza a producir textos extensos que omiten lo esencial; si puntúa las respuestas categóricas, el modelo inventa con seguridad lo que no sabe. La adulación (sycophancy), que consiste en estar de acuerdo con todo lo que dice el usuario, tiene la misma raíz. Si se reúnen datos de preferencia con prisa y con solo 5 o 6 evaluadores, las preferencias de esa minoría se fijan como el estándar de la empresa. También es arriesgado pedir simplemente «elija la mejor respuesta» sin una guía de evaluación. Si no se anota con qué criterio se eligió, después nadie podrá explicar por qué el modelo responde así.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Jaryong KooDoctor en marketing y referente en IA, análisis de datos y marca personalSe dio a conocer en 2022 con InstructGPT y ChatGPT de OpenAI, y se consolidó como la técnica estándar para alinear los modelos de lenguaje de gran tamaño con las preferencias humanas.
Veamos un caso hipotético. La aseguradora de daños A, con 740 colaboradores, abrió una herramienta interna de apoyo con LLM a 120 agentes de su centro de llamadas. Tras tres meses de uso, solo el 18% de los borradores de respuesta generados por la IA fue aceptado. En las reuniones de líderes de equipo se repetía la queja de que 'suena muy bien, pero no señala las cláusulas de la póliza'.
- El líder de equipo Park, de CX Operations, seleccionó a 24 agentes de atención con más de tres años de experiencia como panel evaluador. Les mostró, para una misma consulta, dos respuestas generadas por IA y les pidió elegir la mejor. Se hizo durante seis semanas, 15 minutos por día.
- Durante seis semanas se reunieron 4,200 pares de comparación; de ellos, los 610 marcados como 'ambas son insuficientes' fueron reescritos directamente como respuestas modelo por tres veteranos con 15 años de experiencia.
- Al revisar los datos, los agentes eligieron unas tres veces más las respuestas que citaban primero el número de la cláusula de la póliza que las respuestas largas y corteses. El gerente sénior Kim lo resumió así: 'El cliente espera fundamento antes que disculpas'.
- El equipo de IA entrenó un modelo de recompensa con estos datos de preferencia y ajustó el modelo de respuestas con el método DPO, y documentó las pautas de evaluación para que las respuestas sin cita de artículos reciban una penalización.
- El líder de equipo Park introdujo una regla según la cual la mitad de los 24 evaluadores se reemplaza cada 8 semanas. Así se evitaba que las muletillas de un agente concreto se fijaran como respuesta estándar de la empresa.
- En la medición realizada 8 semanas después del ajuste, la tasa de aceptación de respuestas subió del 18% al 54%, el tiempo promedio de atención por caso bajó de 6 min 40 s a 5 min 5 s, y la tasa de consultas repetidas sobre el mismo caso se redujo un 12%.