Alucinación · Alucinaciones de IA
Hallucination
¿Qué es la alucinación?
- Inventar hechos falsos con apariencia de verdad
- Principal riesgo de la IA generativa
- Gestión mediante fundamentación y verificación
Comprender la alucinación cambia el diseño mismo de la adopción de la IA. Más que «qué puede hacer la IA», lo que organiza el flujo de trabajo es «quién detecta el error y en qué punto». Aunque la redacción de borradores se vuelva cinco veces más rápida, si la revisión consume el mismo tiempo no se gana nada; por eso, en la práctica, el beneficio se calcula con el tiempo total, incluida la verificación. Así, al elegir la primera tarea para aplicar IA, lo seguro es empezar por trabajos que tengan una respuesta única y cuyo error se note de inmediato.
Las alucinaciones no son un bloque único: se dividen en tipos. Está la fabricación de hechos, que consiste en inventar artículos, sentencias o estadísticas que no existen; la fabricación de fuentes, en la que el contenido es correcto pero se inventan el enlace o el número de página de origen; y la distorsión, en la que, aunque se entregó el documento de referencia, se cuela una frase que no aparece en él. Con RAG se reducen sobre todo los dos primeros; el tercero permanece. Los límites de conocimiento (no saber lo ocurrido después del entrenamiento) o los sesgos de datos tienen causas distintas a la alucinación y requieren remedios distintos, por eso hay que distinguirlos. La frecuencia sube cuanto más largas son las respuestas, cuanto más especializado es el campo y cuantos más números, nombres propios y fechas aparecen.
En la práctica, el error más común es creer que «preguntar por la fuente vuelve seguro el resultado». Pedirle fuentes a un modelo que las inventa no es verificación: hay que comprobar que el enlace realmente se abre y que el documento contiene esa frase exacta. Tampoco es seguro pensar que basta con cambiar al modelo más reciente: la frecuencia baja, pero la redacción se vuelve más fluida y, por eso, los errores se notan menos. Los accidentes suelen ocurrir justo después de agregar RAG: al pensar «ahora tiene base documental, no hay problema», se relaja la revisión y salen a los clientes condiciones de reembolso que no figuran en la guía, o aparecen en el resumen de un contrato cláusulas que no existen. La responsabilidad recae íntegramente en la empresa.
John KimAutor de «Diseño del marketing B2B» y CEO de Nanum Consultoría. Instructor.
Seolyeong ParkEspecialista en IA generativa y AX, con 17 años de experiencia práctica y más de 200 sesiones de enseñanza, que logra que personas sin formación técnica la usen de inmediatoEl término se generalizó cuando la IA generativa se popularizó y el riesgo de las «respuestas convincentes pero incorrectas» cobró protagonismo en el trabajo cotidiano. Su origen está en la estructura de los modelos de lenguaje: no almacenan respuestas correctas, sino que generan frases de forma probabilística.
Veamos un caso hipotético. La empresa A, distribuidora de materiales industriales con 180 colaboradores y ventas anuales de alrededor de KRW 90,000,000,000, (≈ US$67,362,200) empezó a usar IA generativa para redactar borradores de respuesta a las consultas de sus clientes. Dos meses después, un cliente presentó una queja: pedía que se aplicaran las condiciones de devolución que figuraban en el correo recibido, pero la empresa A no tenía ninguna norma de ese tipo.
- El jefe de sección Kim, del equipo de soporte comercial, al revisar los correos enviados, encontró que la frase «devolución posible dentro de los 14 días posteriores a la apertura» aparecía en tres casos, y nadie recordaba haber escrito esa condición.
- El líder del equipo de aseguramiento de calidad comparó, una por una, 120 respuestas de borrador generadas por IA en agosto con el reglamento interno, y encontró que 19 (15.8 %) contenían frases sin respaldo en la normativa de la empresa.
- El subgerente de sistemas de información, Park, subió 42 documentos en PDF (reglamentos, listas de precios y modelos de contrato estándar) a un repositorio de búsqueda y fijó la instrucción: «Si la respuesta no está en los documentos dados, indica únicamente que se requiere confirmación del responsable».
- El director comercial estableció el principio de que «las frases con montos, plazos o condiciones legales las revisan dos personas» y cambió la plantilla de correo para que el botón de envío no se active hasta que el líder de equipo apruebe la respuesta.
- Tres meses después, al revisar de nuevo 120 casos con el mismo método, las frases sin respaldo bajaron a 2 (1.7 %), y el tiempo de redacción de cada respuesta pasó de 25 minutos a 9 minutos.