Sesgo de la IA
AI Bias
¿Qué es el sesgo de la IA?
- Resultados injustos por sesgos en los datos o en el diseño
- Si los datos están sesgados, la IA también lo estará
- El riesgo de automatizar la discriminación
Al entender el sesgo de la IA, cambian las preguntas que se hacen al adoptar un modelo. En lugar de "¿cuál es su porcentaje de precisión?", se pregunta primero "¿con quién se equivoca?". La precisión global es la calificación de la mayoría. Si el 10% de los candidatos pertenece a un grupo específico, el modelo puede fallar en todo ese grupo y aun así mostrar un 90% de precisión. Por eso, la clave de la auditoría pasa a ser desglosar las métricas de desempeño por grupo.
El sesgo no es una sola masa: entra por caminos distintos. Están el sesgo histórico, cuando decisiones discriminatorias del pasado quedan fijadas como etiquetas correctas; el sesgo de muestreo, cuando un grupo tiene pocos ejemplos desde el inicio; el sesgo de etiquetado, cuando la subjetividad del evaluador se filtra en las etiquetas; y el sesgo de bucle de retroalimentación, cuando los resultados recomendados por el modelo vuelven como datos de entrenamiento. Lo más difícil es que la definición de equidad no es única. El criterio de igualar la tasa de aprobación por grupo y el de igualar la tasa de falsos positivos por grupo a menudo no se cumplen al mismo tiempo, por lo que qué equidad elegir es, en última instancia, una decisión de gestión.
El sesgo debe distinguirse de la alucinación (hallucination). La alucinación es un error aleatorio que inventa hechos inexistentes, pero el sesgo tiene una dirección constante y se repite. Si se introducen las mismas condiciones 100 veces, se inclina 100 veces hacia el mismo lado. Por eso, un error que se reproduce hay que buscarlo en los datos y en la función objetivo, no en el prompt. Por otro lado, no toda diferencia estadística es discriminación injusta, así que hay que evaluar caso por caso si la diferencia se explica por la relevancia para el trabajo.
El malentendido más común en la práctica es pensar que "como se quitaron las columnas de sexo y edad, el proceso es justo". Aunque se eliminen las variables sensibles, las variables indirectas (proxy) como el lugar de residencia, la escuela de procedencia, los vacíos en la trayectoria laboral o la situación militar reconstruyen esa misma información. Incluso se vuelve imposible medir el sesgo, con el efecto contrario. Otro error es creer sin más la frase «sesgo verificado» del proveedor. Si no se pregunta en qué país y con qué composición de grupos se hizo esa verificación, los resultados sobre la distribución de candidatos de su empresa serán totalmente distintos. En el momento en que se conecta a una línea de aprobación automática sin verificación, la discriminación se replica a una velocidad de decenas de casos por segundo.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)Es un problema derivado de la dependencia de los datos propia del aprendizaje automático. Al revelarse múltiples casos reales de discriminación, se ha convertido en un desafío central de la ética de la IA.
Veamos un caso hipotético. La empresa A, distribuidora con 1,400 colaboradores y ingresos anuales de KRW 320,000,000,000, (≈ US$239,510,200) recibe unas 12,000 solicitudes de empleo al año. Para manejarlas, adoptó un filtro de documentos con IA. Seis meses después, en el informe periódico del área de personas se confirmó que la tasa de aprobación de solicitantes mujeres en la revisión de documentos bajó del 31% antes de la adopción al 18%. La discusión comenzó con la pregunta: "Si la precisión del modelo es del 89%, ¿por qué aparece este número?"
- Al revisar los datos de contratación de los últimos cinco años que el gerente Kim, del equipo de personas, usó para el aprendizaje, se encontró que el 82% de los aprobados en los puestos de logística y comercialización (MD) eran hombres. La IA había aprendido esa proporción como un rasgo de los talentos destacados.
- El proveedor respondió que «el campo de género no existe en los datos de entrada», pero cuando el área de análisis de datos extrajo la contribución de las variables, el período sin empleo de 6 meses o más y haber egresado de determinadas universidades femeninas funcionaban como factores de penalización.
- El CHRO indicó: "Revisen de nuevo los resultados separados por grupo, no solo la precisión". Al calcular por separado la tasa de falsos positivos por sexo y por grupo de edad, la brecha entre grupos resultó ser de 14 puntos porcentuales.
- El área de RR. HH. excluyó del aprendizaje las variables de período sin empleo y universidad de origen, y reunió 4,000 casos adicionales de candidatas mujeres de los últimos dos años para volver a entrenar el modelo.
- Al mismo tiempo, la puntuación de IA se usa solo como indicador de referencia, y el tramo inferior del 30% debe ser revisado siempre por el responsable de contratación, y en el informe trimestral se incluyó como punto fijo la brecha de tasas de aprobación por grupo.
- Tres meses después, la tasa de aprobación de mujeres en la revisión de documentos se recuperó al 29%, la brecha entre grupos bajó de 14 a 3 puntos porcentuales y la tasa de permanencia de los contratados a un año subió 4 puntos porcentuales.