Modelo de razonamiento
Reasoning Model
¿Qué es un modelo de razonamiento?
- Sin responder de inmediato, sino 'después de pensar'
- Fuerte en matemáticas, lógica y programación
- Uso de cómputo en tiempo de prueba (test-time compute)
Lo que cambian los modelos de razonamiento no es la cifra de las tablas de rendimiento, sino la forma de hacer las preguntas. Con un modelo de respuesta inmediata, se preguntaba de forma breve y, si no gustaba, se volvía a preguntar; con un modelo de razonamiento, se entregan de una vez las condiciones, las restricciones y las excepciones, y se le encarga la revisión completa. Los prompts se alargan y se intercambian menos mensajes. Es un cambio hacia hacer una pregunta profunda de una sola vez. Eso sí, la respuesta puede tardar de unos segundos a varios minutos, así que si se conecta directamente a un canal de atención en tiempo real, donde la velocidad de respuesta es la calidad, los usuarios abandonan desde el inicio.
Aunque el nombre varía según el producto, la mayoría permite elegir la profundidad de razonamiento en niveles como bajo, medio y alto. Al subir la profundidad, aumenta la cantidad de 'tokens' de razonamiento que el modelo genera internamente, y esos tokens también se cobran. Por eso la factura puede mostrar miles de tokens aunque la respuesta visible tenga diez líneas. Además, el proceso de pensamiento que se muestra en pantalla suele ser un resumen, así que no conviene esperar de él un registro completo de razonamiento como evidencia de auditoría.
Escribir 'piensa paso a paso' en el prompt y usar un modelo de razonamiento no es lo mismo. Lo primero le pide a un modelo de respuesta inmediata que imite un proceso de pensamiento; lo segundo usa un modelo entrenado desde la etapa de entrenamiento para razonar en extenso. También se diferencian en su papel frente a la búsqueda y el RAG. Los modelos de razonamiento son buenos para analizar la información que se les da, pero no para descubrir hechos que desconocen. Las normas internas o los precios actuales hay que incluirlos como material para que los analicen bien.
El error más frecuente en la práctica es la decisión de “como es un buen modelo, mandemos todo a este”. Tareas simples como resumir actas, traducir o redactar borradores de correo dan prácticamente el mismo resultado con un modelo de razonamiento, pero la respuesta se vuelve varias veces más lenta y el costo sube. Pensar que, como razonó más tiempo, los datos también serán correctos es igualmente arriesgado. Aunque el cálculo y la lógica mejoren, sigue existiendo el problema de inventar artículos de ley o fuentes que no existen. Si en un proceso por lotes se fija un límite de tiempo de 60 segundos, las tareas más difíciles son justamente las que se cortan a mitad de la respuesta, y quedan vacíos los resultados de lo más importante.
John KimAutor de «Diseño del marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Seungtae ParkInstructor práctico de AX que enseña desarrollo de negocio con IA y automatización de marketing, con herramientas propiasSiguiendo la línea de investigación de la cadena de pensamiento (2022), alrededor de 2024 surgieron modelos especializados en razonamiento que 'dedican más cómputo a pensar', lo que elevó su desempeño en tareas complejas.
Tomemos un caso hipotético. A, una empresa que fabrica válvulas industriales, tiene 320 colaboradores y ventas anuales de KRW 180,000,000,000 (≈ US$134,724,500). Recibe 400 solicitudes de cotización al mes de distribuidores extranjeros, pero al combinarse los descuentos por rango de cantidad, el tipo de cambio y los costos logísticos, se equivocaban 27 cálculos al mes. Reenviar las cotizaciones hacía que el cronograma de ventas se atrasara un día, una y otra vez.
- El jefe de sección Kim, del equipo de compras, revisó 27 errores de los últimos tres meses y encontró que 22 eran casos con cálculos de dos o más pasos encadenados, como “tipo de cambio aplicado después del descuento”.
- Al procesar 30 cotizaciones iguales con un modelo tradicional de respuesta inmediata, falló en 9. El modelo de razonamiento, con las mismas condiciones, falló en solo 1.
- El jefe del equipo de TI, Park, fue tajante: «No podemos costear enviar todo a un modelo de razonamiento». Así que definió una regla de derivación: los casos de hasta 3 artículos y una sola moneda van al modelo habitual, y solo los casos multidivisa y con descuentos de varias etapas pasan al modelo de razonamiento.
- Como la respuesta tardaba en promedio 40 segundos y la pantalla de ventas parecía detenida, se cambió a un método que envía la solicitud a una cola en cuanto se recibe y muestra una notificación cuando hay resultado.
- Seis semanas después, los errores de cálculo bajaron de 27 al mes a 4 y el tiempo de revisión por cotización pasó de 40 a 12 minutos. El costo de la API subió de KRW 180,000 (≈ US$135) a KRW 460,000 (≈ US$345) al mes, pero el costo del personal de ventas que se perdía en retrabajos era mucho mayor.
- Problemas complejos de matemáticas, lógica y programación
- Cuando se necesitan varios pasos de razonamiento
- Cuando la precisión importa más que la velocidad
- Tareas ligeras como resúmenes o clasificaciones simples
- Cuando importan la respuesta inmediata y el bajo costo
- Tareas rutinarias y estructuradas que no requieren razonamiento