Conocimiento · Fundamentos de IA

RLHF · Aprendizaje por refuerzo con retroalimentación humana

Reinforcement Learning from Human Feedback

📂Fundamentos de IA⏱Lectura de 2 min📊Avanzado🔗Relacionados 4

¿Qué es RLHF?

Definición en una línea
Técnica de aprendizaje por refuerzo con retroalimentación humana (Reinforcement Learning from Human Feedback) que ajusta la IA según las preferencias que asignan las personas (qué respuesta es mejor), para hacerla más útil y segura. Es el secreto que hizo de ChatGPT una herramienta 'realmente útil'.
Capacitación interna sobre este tema📚 Curso relacionado💬 Consulta de capacitación
⚡ Resumen en 3 líneas
  • Ajustar la IA con preferencias humanas
  • Más útil y más seguro
  • El secreto que hizo de ChatGPT una herramienta realmente útil

Un modelo de lenguaje que solo terminó el pre-entrenamiento elige la palabra siguiente más plausible, pero no tiene ningún criterio para juzgar qué respuesta es mejor. Lo que realmente cambia el RLHF no es la cantidad de conocimiento del modelo, sino el origen de sus criterios de juicio. Exigencias como «sé amable» o «no mientas» son difíciles de convertir en una puntuación con código, pero elegir cuál de dos respuestas es mejor lo hace una persona en pocos segundos. El RLHF convierte un problema difícil de calificar en otro fácil de comparar, y por eso fue posible escalarlo.

El procedimiento estándar tiene tres etapas. Primero, se hace un ajuste fino supervisado (SFT) con miles de respuestas modelo; después, se entrena un modelo de recompensa con decenas de miles de comparaciones en las que personas ordenan pares de respuestas a una misma pregunta; por último, se aplica aprendizaje por refuerzo para aumentar esa recompensa. En los últimos tiempos se usan mucho variantes que reducen costos, como DPO, que aprende directamente de los pares preferidos sin modelo de recompensa, y RLAIF, que reemplaza a los evaluadores humanos por IA. Las fronteras con otras técnicas también están claras. La ingeniería de prompts no modifica el modelo; el dominio de ajuste fino incorpora conocimiento y estilo; pero el RLHF es un trabajo que reordena prioridades: decide qué parte de lo que el modelo ya sabe sale primero. No crea conocimiento que antes no existía.

El accidente más común en la práctica es el hackeo de recompensa. El modelo no aprende a dar «buenas respuestas», sino los patrones que los evaluadores puntuaron alto. Si el panel levanta la mano por respuestas largas y corteses, el modelo empieza a producir textos extensos que omiten lo esencial; si puntúa las respuestas categóricas, el modelo inventa con seguridad lo que no sabe. La adulación (sycophancy), que consiste en estar de acuerdo con todo lo que dice el usuario, tiene la misma raíz. Si se reúnen datos de preferencia con prisa y con solo 5 o 6 evaluadores, las preferencias de esa minoría se fijan como el estándar de la empresa. También es arriesgado pedir simplemente «elija la mejor respuesta» sin una guía de evaluación. Si no se anota con qué criterio se eligió, después nadie podrá explicar por qué el modelo responde así.

Capacitaciones en las que aparece este término · IA·DX
Cursos recomendados · Instructores recomendados · Mini cotización
🧮 Mini cotización · Criterio de honorarios
Aprox. KRW 1,200,000 (≈ US$900)Charla especial de 2 horas · hasta 20 personas · en coreano
Solicitar cotización formal con estas condiciones →
💡 Dicho de forma sencilla
'Esta respuesta es mejor que aquella': así se educa a la IA con la evaluación de las personas, para que su inteligencia también sea cortés.
Por qué es importante en la práctica
Es la técnica que lleva a la IA de 'ser inteligente' a 'ser útil para las personas'. Es clave para la alineación y la seguridad de la IA.
Origen y fuentes

Se dio a conocer en 2022 con InstructGPT y ChatGPT de OpenAI, y se consolidó como la técnica estándar para alinear los modelos de lenguaje de gran tamaño con las preferencias humanas.

Fuente · Christiano et al., «Deep RL from Human Preferences» (2017)
Entender con un caso

Veamos un caso hipotético. La aseguradora de daños A, con 740 colaboradores, abrió una herramienta interna de apoyo con LLM a 120 agentes de su centro de llamadas. Tras tres meses de uso, solo el 18% de los borradores de respuesta generados por la IA fue aceptado. En las reuniones de líderes de equipo se repetía la queja de que 'suena muy bien, pero no señala las cláusulas de la póliza'.

  1. El líder de equipo Park, de CX Operations, seleccionó a 24 agentes de atención con más de tres años de experiencia como panel evaluador. Les mostró, para una misma consulta, dos respuestas generadas por IA y les pidió elegir la mejor. Se hizo durante seis semanas, 15 minutos por día.
  2. Durante seis semanas se reunieron 4,200 pares de comparación; de ellos, los 610 marcados como 'ambas son insuficientes' fueron reescritos directamente como respuestas modelo por tres veteranos con 15 años de experiencia.
  3. Al revisar los datos, los agentes eligieron unas tres veces más las respuestas que citaban primero el número de la cláusula de la póliza que las respuestas largas y corteses. El gerente sénior Kim lo resumió así: 'El cliente espera fundamento antes que disculpas'.
  4. El equipo de IA entrenó un modelo de recompensa con estos datos de preferencia y ajustó el modelo de respuestas con el método DPO, y documentó las pautas de evaluación para que las respuestas sin cita de artículos reciban una penalización.
  5. El líder de equipo Park introdujo una regla según la cual la mitad de los 24 evaluadores se reemplaza cada 8 semanas. Así se evitaba que las muletillas de un agente concreto se fijaran como respuesta estándar de la empresa.
  6. En la medición realizada 8 semanas después del ajuste, la tasa de aceptación de respuestas subió del 18% al 54%, el tiempo promedio de atención por caso bajó de 6 min 40 s a 5 min 5 s, y la tasa de consultas repetidas sobre el mismo caso se redujo un 12%.
Términos relacionados
Capacitaciones relacionadas con este término
📚Introducción práctica a la IA de agentesCapacitación corporativa de Nanum Consultoría · presencial / en líneaVer curso →
¿Necesita capacitación interna sobre este tema?
Reciba de inmediato un currículo y una cotización personalizados para su equipo.
Consultar sobre capacitación
Última modificación 2026-09-13 · Revisado por John Kim

Preguntas frecuentes

Porque alinea el modelo de la «inteligencia» hacia la «utilidad y seguridad para las personas». Es la clave del éxito de ChatGPT.
Al principio se necesitan preferencias humanas. Después, un modelo de recompensa entrenado las reemplaza, y se investigan variantes más eficientes.
Ajusta la IA según las preferencias humanas para hacerla más útil y segura: es el secreto que hizo que ChatGPT fuera «realmente útil».
Al principio se necesita evaluación humana para afinar el modelo. Después se estudian métodos que lo complementan con retroalimentación de IA.