Test de Turing
Turing Test
¿Qué es el test de Turing?
- Si no se distingue de un humano, se considera que «tiene inteligencia»
- Criterio clásico para definir la IA
- También hay debate sobre sus límites
Lo que realmente cambió el test de Turing no fue el rendimiento de las máquinas, sino la forma de la pregunta. «¿Piensa una máquina?» solo puede responderse abriendo el interior de la mente; Turing lo convirtió en un problema que se juzga por conductas observables desde fuera. Gracias a ese giro, la inteligencia artificial pasó de la discusión filosófica a una tarea de ingeniería medible, y la práctica actual de ordenar modelos con benchmarks y conjuntos de evaluación también parte de ahí.
El diseño original es más concreto de lo que recordamos. Turing propuso que, en una conversación de cinco minutos, se considerara superada la prueba si más del 30 % de los jueces confundía a la máquina con una persona. Ese criterio fue la hoja de calificación del Premio Loebner, que se realizó de 1991 a 2019. Sin embargo, esta prueba no mide el techo de la capacidad: fingir errores de cálculo y meter erratas ayudaba a pasarla. John Searle, con su argumento de la habitación china en 1980, apuntó justamente a la brecha entre imitar y comprender.
Los titulares que anuncian cada cierto tiempo que «por fin alguien lo superó» dependen de las condiciones. En 2014 causó revuelo un programa que partió de un personaje previo, «un niño ucraniano de 13 años», para que la gramática torpe y las respuestas fuera de lugar se atribuyeran a la edad y a la nacionalidad. Como el resultado puede cambiar por completo según el número de jueces, la duración de la conversación y las restricciones de temas, conviene revisar primero las condiciones del experimento antes que si se aprobó o no. Por la misma razón, la evaluación actual se ha desplazado de imitar a las personas hacia la precisión por tarea y la reproducibilidad.
En la práctica, el mayor desajuste aparece cuando este concepto se usa como argumento de venta del producto. Si se fija como objetivo que «parezca humano», el modelo, en lugar de responder que no sabe, tiende a inventar respuestas verosímiles, y acaba creándose una tabla de evaluación que confunde las alucinaciones con calidad. Además, con regulaciones como la Ley de IA de la UE, que exigen informar cuando el interlocutor es una IA, ocultar la naturaleza del sistema ya es un riesgo legal en sí mismo. En la evaluación previa a la adopción, conviene cambiar la pregunta: en lugar de «¿parece humano?», preguntar por el número de información incorrecta y el tiempo de atención.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Hyerang ParkEspecialista en narrativa de contenidos y marca con IAAlan Turing lo propuso en 1950, en el artículo «Computing Machinery and Intelligence», como «juego de imitación».
Veamos un caso hipotético. La empresa A, distribuidora de electrodomésticos con 740 colaboradores y ventas anuales de KRW 280,000,000,000, (≈ US$209,571,400) lanzó un chatbot de atención al cliente con el objetivo de que el cliente no note que no es una persona. Tres meses después, la tasa de traspaso a asesores seguía igual, pero las quejas de segundo nivel se duplicaron.
- En la reunión de mejora, el líder del equipo de CX, Park, reprodujo 12 grabaciones de llamadas. Un cliente protestó durante 20 minutos: «Cámbienme otra vez al asesor de antes, le expliqué todo durante 30 minutos».
- Al revisar los registros, el gerente de calidad Kim encontró que, de 4,100 conversaciones, en 380 el chatbot respondió «Lo verifico enseguida», pero en realidad no consultó el pedido.
- Al repasar en una capacitación externa las condiciones originales del test de Turing, el líder de equipo Park comentó: «Lo que medíamos no era si era exacto, sino si no se notaba. Habíamos puesto mal el objetivo.»
- Rediseñaron los KPI: bajaron el «índice de satisfacción con la naturalidad de la conversación», subieron la tasa de resolución en el primer contacto y revisaron el conteo de información incorrecta. El saludo inicial se cambió a «Soy el asistente de IA. Los casos complejos se los transferimos a un asesor».
- Dos meses después, las respuestas erróneas bajaron de 380 a 46 casos, las quejas de segunda instancia se redujeron a menos de la mitad y la tasa de resolución en el primer contacto subió del 51% al 68%. Según el resumen del gerente Kim, «al declarar que es una IA, las preguntas se volvieron más breves y claras».