IA explicable · XAI
Explainable Artificial Intelligence
¿Qué es la IA explicable?
- Explicar «por qué la IA juzgó así»
- Clave para la confianza, la responsabilidad y el cumplimiento regulatorio
- Abrir la caja negra
Al incorporar XAI cambia la forma del resultado que entrega la IA. La pantalla que antes mostraba una sola línea, «puntaje 712, rechazado», ahora también muestra «los tres factores que más pesaron en este juicio». En la práctica, lo que cambia no es el modelo sino la línea de aprobación y los registros. El analista de evaluación compara su propio juicio con la justificación del modelo antes de aprobar, y el personal de atención al cliente, en lugar de decir «el sistema salió así», explica el motivo concreto. Si la explicación no queda registrada, no son posibles ni la auditoría posterior ni el tratamiento de reclamos.
Hay dos grandes formas de explicar un modelo. Una son los modelos interpretables por naturaleza, como los árboles de decisión o los modelos lineales, cuya estructura misma se puede leer: modelos intrínsecamente interpretables. La otra es la explicación posterior: al aprendizaje profundo ya entrenado se le añaden herramientas como SHAP o LIME para estimar en qué se basó. Además, la explicación global, del tipo «en general, este modelo da mayor peso a la razón deuda/patrimonio», y la explicación local, del tipo «el motivo del rechazo de este cliente es este», tienen usos distintos. Si se parte de un régimen en el que cada persona puede preguntar por su propio caso, como el derecho a exigir explicaciones y a oponerse a las decisiones automatizadas en la reforma de la Ley de Protección de Datos Personales de Corea, lo que se necesita es la explicación local.
No es necesario aplicar XAI a todos los modelos. En la práctica se clasifican según el grado de impacto del juicio en las personas. Donde un error puede corregirse, como la previsión de demanda de inventario, se prioriza el rendimiento; donde la decisión determina las oportunidades de una persona, como préstamos, contratación o suscripción de seguros, se elige una estructura explicable o se guardan las explicaciones locales caso por caso. Además, hay que validar la calidad de la explicación misma. Al contrastar los factores principales que propone el modelo con el juicio de un experto del área, el porcentaje de discrepancias resulta más alto de lo que se espera.
El malentendido más común es creer que la explicación es la razón real. Las explicaciones a posteriori no muestran el interior del modelo tal cual es, sino que son interpretaciones aproximadas: si cambian la herramienta o los datos de referencia, también cambia el orden de los factores principales. Si a un mismo cliente se le informa el mes pasado de «relación deuda-ingreso» y este mes de «antigüedad de la relación comercial», el caso se convierte en disputa de inmediato. Las frases que suenan a causalidad también son riesgosas. Si se escribe «rechazado por la alta relación deuda-ingreso», el cliente entiende «si la bajo, me aprueban»; y si vuelve a ser rechazado, la queja regresa. La explicación no prueba la equidad; es el punto de partida para revisarla.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría. Instructor John Kim
Junyoung NohAnalista de tendencias de consumo y generaciones, y especialista en marketing de contenidos con IAA finales de la década de 2010, la investigación en XAI se intensificó al hacerse visible el problema de la «caja negra» del aprendizaje profundo, y su importancia crece junto con el debate regulatorio y de responsabilidad sobre la IA.
Veamos un caso hipotético. La financiera A, con 240 colaboradores, adoptó hace dos años un modelo de evaluación de créditos personales que revisa automáticamente 8,000 solicitudes al mes. La aprobación se aceleró, pero cuando un cliente rechazado preguntaba por el motivo, solo recibía como respuesta «resultado de la evaluación crediticia integral», y cada trimestre se acumulaban 120 quejas por rechazos. Como estaba prevista una inspección periódica del regulador, decidió incorporar un sistema de explicación en un plan de cuatro meses.
- El gerente Kim, de la división de gestión de riesgos, leyó personalmente 120 quejas y concluyó: «el cliente no se enojó porque lo rechazaran, sino porque no le explicaron el motivo». Con ello decidió dejar una explicación individual en todos los casos de rechazo.
- El equipo de análisis de datos extrajo con SHAP los tres factores de mayor influencia de cada caso y, en una prueba ciega, mostró 300 casos a 12 analistas de crédito; la coincidencia con el criterio de los analistas fue apenas del 62%.
- Al investigar los casos desviados, se encontró que la variable de morosidad en pagos de telefonía actuaba de forma excesiva solo en ciertos grupos de edad. El equipo de modelos retiró esa variable, reentrenó el modelo y limitó la pérdida en la tasa de aprobación a 0.4 puntos porcentuales.
- El subgerente Lee, del equipo jurídico, frenó la redacción al advertir que «rechazado por la alta relación deuda-ingreso» se leería como una promesa de que, si se reduce, se aprueba; por eso unificó la redacción como «fue el factor que más influyó en esta decisión».
- En el centro de atención creamos guiones de respuesta para 18 factores y establecimos la regla de que cada caso en que el analista juzgue distinto de lo que explica el modelo debe presentarse en la reunión mensual de revisión.
- Cuatro meses después, las quejas trimestrales bajaron de 120 a 41; el tiempo promedio de atención a las consultas sobre los motivos de rechazo pasó de 9 minutos a poco más de 3; y en la inspección, el registro de conservación de las explicaciones pasó sin observaciones.