Multimodal
Multimodal AI
¿Qué es lo multimodal?
- Texto + imagen, audio y video procesados juntos
- Usar material real tal cual
- Compatible con la mayoría de los modelos recientes
Lo que realmente cambia la multimodalidad en la práctica es el trabajo previo a introducir datos en la IA. Antes había que escribir a máquina un contrato escaneado, pasar las cifras del panel a una tabla y transcribir la grabación de una reunión antes de poder usar la IA. Basta con subir el material tal como está, sin procesarlo, para que desaparezca el trabajo manual que ocupaba la etapa de preparación. Por eso la pregunta al evaluar su adopción también cambia: de «¿puede la IA hacer esta tarea?» a «¿puede la IA leer este material?».
Al evaluarlo, hay que separar la entrada multimodal y la salida multimodal. El uso empresarial es, en su mayoría, de entrada: se ingresan imágenes, PDF o audio y la respuesta llega como texto. La salida, que genera imágenes o audio, suele ser otro modelo o tener otro esquema de precios. OCR también cumple un rol distinto: OCR destaca en extraer texto con precisión y con su posición, mientras que lo multimodal destaca en interpretar qué significa esta tabla. Si hay cientos de documentos con formato fijo, conviene extraer el texto con OCR y luego ingresarlo: sale más barato y más preciso. Las imágenes consumen tokens según su resolución, así que si se envían capturas de alta resolución tal cual, el costo sube más de lo esperado.
En la práctica, el error más común es creer que la IA “mira como una persona”. Lee bien la tendencia de un gráfico, pero estima por su cuenta los valores entre las marcas de escala, y en tablas con muchas celdas combinadas cruza filas y columnas. Los 1 y 7 manuscritos y las líneas de cota de los planos también son puntos típicos de error. El problema es que en lugar de decir que no lo sabe, rellena con un número plausible, y si eso llega tal cual al informe, nadie lo nota. Hay que incluir en el prompt la instrucción de “dejar en blanco lo que no se pueda leer” y añadir un paso de revisión que contraste con los valores originales. También es común subir una captura completa y que con ella viajen el nombre del cliente o datos personales, así que conviene acostumbrarse a ocultar esos datos antes de cargar el archivo.
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría, instructor John Kim
Sungil KimExalumno de KAIST y ex Samsung Electronics; experto en pitch global que formó al equipo ganador del concurso de pitch de inversión de Select USA y de la Organización Mundial del Turismo (ONU)Concepto que engloba el procesamiento conjunto de varias modalidades, como texto e imágenes. Se difundió rápidamente a partir de 2021 con CLIP y DALL·E, de OpenAI.
Veamos un caso hipotético. La empresa A, fabricante de piezas de automóviles (260 colaboradores, ingresos anuales de KRW 48,000,000,000 (≈ US$35,926,500)), sigue anotando a mano sus registros de inspección en planta. En 3 líneas salen unas 40 hojas al día, cerca de 900 hojas manuscritas al mes, y dos empleados de calidad dedican 14 horas semanales solo a pasarlas a Excel. Las fotos de defectos circulan aparte por el chat grupal y ni siquiera se vinculan con el registro.
- Kim, gerente de sección de calidad, escaneó 30 hojas de registro de inspección del mes pasado, las subió tal cual y pidió: “Extrae en una tabla solo los ítems, los valores y las observaciones especiales”. La IA leyó 27 hojas; en 3, la tinta corrida dejó vacíos los valores.
- Para no inventar celdas vacías, se agregó al prompt la instrucción «si no se puede leer, marcar obligatoriamente como [Verificar]». Los ítems ilegibles quedaron en la tabla tal cual, y los casos a revisar se redujeron a 4 de las 30 hojas.
- Al subir fotos de defectos junto con el registro para que determinara a qué ítem correspondían, el líder de equipo Park, del área de Producción, comentó: «Lo más valioso es no tener que escribir a mano la descripción de cada foto».
- En una captura de un plano con líneas de cota superpuestas, la IA leyó 12.5 mm como 1.25 mm en dos ocasiones, así que fijamos la regla de no delegar los planos en la IA multimodal y adjuntar en su lugar los valores de cota del CAD original.
- Tres meses después, el tiempo de ingreso de los registros de inspección bajó de 14 horas semanales a 3 horas, y al unir las fotos con los registros, la preparación de la reunión sobre causas de defectos bajó de 2 horas a 1.