Human-in-the-Loop · HITL
Human-in-the-Loop
¿Qué es Human in the Loop?
- Diseño que establece puntos de revisión e intervención humana en el proceso de IA
- La última línea de defensa frente a errores y alucinaciones, y el criterio para determinar la responsabilidad
- Cuanto mayor sea el riesgo de la decisión, más se refuerza la intervención humana
Cuando se empieza a diseñar el HITL, cambia la pregunta dentro de la organización. Donde antes se discutía «qué tan preciso es la IA», aparece la pregunta «si se equivoca, ¿quién lo detecta y en qué momento?». Llevar el rendimiento del modelo al 100% es imposible, pero sí es posible crear un punto de control que detenga el error antes de que se ejecute. El efecto práctico del HITL es que el debate pasa de la competencia por la precisión al diseño de los puntos de control.
La intervención suele organizarse en tres niveles. El control previo, en el que el proceso solo avanza si una persona lo aprueba antes de ejecutarse. El Human-on-the-Loop (HOTL), en el que el sistema se ejecuta automáticamente y los registros se revisan por muestreo después. Y el Human-in-Command (HIC), en el que la autoridad para poner en marcha o detener el sistema queda en manos de una persona. En la práctica se combinan. Por ejemplo, las decisiones con una confianza del modelo de 90% o más se procesan automáticamente, las de 70% a 90% pasan a una cola de revisión y las de menos de 70% se rechazan automáticamente. Hay un límite que conviene tener presente: que una persona mire la pantalla no significa que exista HITL. Para que funcione como punto de control, deben darse la autoridad para revertir el resultado y el tiempo para juzgarlo.
En la práctica, lo que más se desmorona es el botón de aprobación. Si a un solo revisor le llegan 300 casos al día, la persona tiende a seguir el juicio de la IA sin cuestionarlo (sesgo de automatización); el registro de auditoría se llena de «aprobación humana», pero la revisión real tiende en la práctica a cero. Si en ese estado ocurre un accidente, la responsabilidad recae sobre el profesional que hizo clic al final, y el HITL se convierte en una coartada. Establezca junto con su equipo un tope de casos por revisor, un campo obligatorio para escribir el motivo de la aprobación y el monitoreo de la tasa de rechazo. Si la tasa de rechazo sigue en 0%, es señal de que la revisión no está funcionando.
John KimAutor de «Diseño del marketing B2B» y CEO de Nanum Consultoría. Instructor.
Seolyeong ParkEspecialista en IA generativa y AX, con 17 años de experiencia práctica y más de 200 sesiones de enseñanza, que logra que personas sin formación técnica la usen de inmediatoSurgió de la investigación sobre la intervención humana en sistemas de control y aprendizaje automático. Con la expansión de la IA generativa y los agentes, se convirtió en un término estándar de gobernanza de la IA.
Veamos un caso hipotético. La empresa de distribución A, con 420 colaboradores, incorporó en su convocatoria de la segunda mitad del año un filtrado de currículos con IA. Hubo 2,400 postulantes, pero el equipo de RR. HH. solo tenía 3 personas para revisar documentos y la etapa de selección duraba apenas dos semanas. En la primera semana de uso llegaron consultas de postulantes que decían «Nos descartan sin ni siquiera conocer el criterio», y el responsable de RR. HH. rediseñó los puntos de intervención.
- El responsable de RR. HH. recortó las atribuciones de la IA. Solo puede filtrar incumplimientos verificables, como años de experiencia o certificaciones obligatorias, y queda prohibido eliminar a alguien únicamente por su puntaje de idoneidad.
- Durante las primeras tres semanas comparamos en paralelo la evaluación de la IA con la del responsable. De los 310 casos que la IA descartó, dos responsables de contratación revisaron todos uno por uno y encontraron 17 descartes incorrectos. La causa fue una diferencia en el formato de registro de la experiencia laboral.
- En la reunión de revisión, un responsable dijo: «Este es un currículum que, si nadie lo hubiera revisado, habría quedado descartado sin más». El líder del equipo cambió la regla: los puntajes entre 60 y 75 pasan a «en espera» y se derivan todos a una persona.
- También se rediseñó la pantalla de aprobación. Los botones de aprobar y rechazar exigen escribir el motivo en una línea, y cada revisor tiene un tope de 120 casos por día para impedir los clics automáticos en serie.
- Tres meses después, los descartes erróneos bajaron de 17 a 2 casos, y el tiempo de la etapa de documentos se redujo de 11 a 4 días. Las impugnaciones de postulantes bajaron de 23 a 4 al mes.