Ética de la IA
AI Ethics
¿Qué es la ética de la IA?
- Principios de equidad, transparencia, seguridad y responsabilidad
- «Poder hacerlo» no es lo mismo que «estar permitido hacerlo»
- Consideraciones imprescindibles para la adopción
La ética de la IA no consiste en redactar declaraciones bonitas, sino en incorporar 'puntos de parada' en cada paso del proceso de crear y usar modelos. Si se deja por escrito de dónde se toman los datos, qué variables nunca se incluirán, quién firma la aprobación antes del despliegue y quién apaga el sistema si ocurre un incidente, las decisiones técnicas pasan a ser decisiones de gestión. En la práctica, el cambio que más se nota suele ser uno solo: sentarse con el equipo desde la reunión de planificación, en lugar de pedir revisión cuando el desarrollo ya terminó.
La ética coincide con el cumplimiento normativo, pero no es lo mismo. El Reglamento de IA de la UE (AI Act) clasifica los sistemas de IA en cuatro niveles: prohibidos, de alto riesgo, de riesgo limitado y de riesgo mínimo. En los usos clasificados como de alto riesgo, como la contratación, la evaluación crediticia o la medicina, impone como obligaciones la gestión de la calidad de los datos, la documentación técnica, la conservación de registros y los mecanismos de supervisión humana. La ley es el mínimo exigible; la ética es el juicio que se hace por encima de ella. En los ámbitos que la regulación todavía no alcanza, por ejemplo convertir datos de desempeño interno en informes resumidos o analizar las emociones de las llamadas de clientes, puede ser legal, pero que empleados y clientes lo acepten es otra cuestión. Hay que distinguir que las técnicas de mitigación de sesgos o la explicabilidad (XAI) son medios para poner en práctica la ética, no la ética en sí misma.
El fracaso más común en la práctica es publicar un código de ética en la página web y dar el tema por cerrado; el siguiente es creer que todo se resuelve con comités. Si se obliga a someter a revisión cada uso de IA en la empresa, las aprobaciones se atrasan meses y las áreas operativas terminan usando cuentas personales a escondidas. Diseñar rutas de aprobación distintas según el nivel de riesgo dura mucho más. Los incidentes reales tampoco son espectaculares: un modelo de contratación que se entrenó directamente con datos de aprobados anteriores reproduce la misma discriminación mediante variables indirectas, como el nombre del club universitario o los periodos sin empleo, sin mirar el sexo ni la universidad. Y cuando llega la auditoría, no hay registro de la base de las decisiones y la empresa ni siquiera puede dar explicaciones. El costo en ese momento pesa más por la reputación («esta empresa no confía en su IA») que por la multa.
John KimAutor de «Diseño del marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Seungtae ParkInstructor práctico de AX que enseña desarrollo de negocio con IA y automatización de marketing, con herramientas propiasEs un campo que ha cobrado relevancia a medida que crece el impacto social de la IA. Países, empresas y organismos internacionales están estableciendo principios y lineamientos de ética de la IA.
Veamos un caso hipotético. La empresa A, una caja de ahorros con activos por KRW 3,000,000,000,000 (≈ US$2,245,408,100) y 320 colaboradores, lleva ocho meses operando un modelo de puntuación basado en aprendizaje automático para evaluar los créditos personales no presenciales. El tiempo de evaluación bajó de dos días a 20 minutos, pero las consultas sobre los motivos de rechazo subieron hasta 40 al mes. El centro de atención informó: "Los clientes preguntan por qué fueron rechazados, y nosotros no tenemos qué explicarles".
- El director de Gestión de Riesgos reunió a 6 personas de tres áreas (datos, cumplimiento y evaluación crediticia) y creó un 'subcomité de revisión de IA', fijando en dos semanas como máximo el plazo para aprobar cada modelo.
- Al revisar a fondo 18 meses de datos de entrenamiento, el jefe del equipo de ciencia de datos encontró que el código postal y el plan tarifario de la operadora se usaban como variables. La tasa de rechazo en ciertas zonas era 11 puntos porcentuales superior al promedio.
- Surgió el comentario "Decían que no miraban la región, pero en realidad la estaban usando como variable indirecta". Tras quitar esas 4 variables y reentrenar el modelo, se comprobó que la tasa de aprobación cambió apenas 0.8 puntos porcentuales.
- El oficial de cumplimiento creó un texto de orientación que muestra automáticamente los tres principales motivos de rechazo, y cambió el procedimiento para revisar por muestreo 200 casos al mes y que el analista de crédito firme la decisión final.
- Si un cliente presenta una objeción, se abre un canal para que una persona revise el caso en un plazo de 48 horas. Además, todos los casos en que la predicción del modelo y el juicio humano no coinciden se guardan en registros durante 24 meses.
- Ocho meses después, las quejas por solicitudes de explicación bajaron de 40 al mes a 9, y la brecha en las tasas de rechazo entre regiones se redujo de 11 a 3 puntos porcentuales. Los documentos de respaldo que pidió el Servicio de Supervisión Financiera de Corea (FSS) en su inspección se entregaron en tres días.