Big data
Big Data
¿Qué es el big data?
- Datos grandes, rápidos y variados
- Más que el dato en sí, lo esencial es «extraer valor del análisis»
- Requiere infraestructura analítica
Lo que cambia el big data no es el tamaño de los datos, sino el criterio de decisión. Antes se explicaba «por qué pasó algo» con unos miles de muestras ordenadas a fin de mes; ahora se almacenan todos los datos y se pregunta «qué va a pasar después». Como se registran el orden de clics de cada cliente, la vibración de cada máquina y los pagos por franja horaria de cada tienda, se puede decidir caso por caso y no con promedios. Es el cambio por el que, en lugar de «según mi experiencia», en una reunión se dice «según el registro de los últimos 14 meses».
Además de las 3V, lo que realmente complica la práctica son las dos últimas: veracidad (Veracity) y valor (Value). Buena parte de los datos empresariales son no estructurados (correos, grabaciones de llamadas, imágenes) y no se pueden analizar tal cual. También cambia la forma de almacenarlos: el data warehouse, que guarda datos depurados con esquema definido, sirve para informes periódicos; el data lake, que almacena los datos originales tal cual, es adecuado para el análisis exploratorio. El procesamiento también varía: por lotes (una vez al día) o en streaming (en segundos). Solo procesos como la detección de operaciones anómalas con tarjeta, donde un segundo de retraso ya no sirve de nada, requieren streaming. No hace falta procesar todos los datos en tiempo real.
El error más común en la práctica es el pantano de datos: acumular datos sin usarlos. Es frecuente ver plataformas de alto costo con tres años de registros volcados, sin que nadie sepa qué significa cada tabla tras los cambios de responsable, y nadie las abre. Un análisis hecho con datos recogidos sin reglas de entrada produce cifras plausibles pero respuestas erróneas, y si con esas cifras se cambian pedidos o asignación de personal, la pérdida es real. Confundir correlación con causalidad también es riesgoso: que suban juntas las ventas de helados y los ahogamientos no significa que una cause la otra. Conviene definir primero una pregunta que necesite respuesta y gestionar bien solo los datos que se usen para responderla.
Jaryong KooDoctor en marketing y referente en análisis de datos con IA y en marca personal
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum ConsultoríaConcepto que cobró relevancia con la explosión de datos en los años 2000. Se define por 3V (volumen, velocidad y variedad) y se volvió práctico con el avance de las tecnologías de procesamiento distribuido (como Hadoop).
Veamos un caso hipotético. La empresa A fabrica artículos para el hogar, tiene 380 colaboradores y ventas anuales de KRW 240,000,000,000 (≈ US$179,632,700). Como los pedidos de productos de temporada dependían del criterio de la dirección comercial, cada año se desechaban KRW 900,000,000 (≈ US$673,600) en inventario y, en cambio, los productos de mayor rotación se agotaban una y otra vez en temporada alta. La dirección lanzó un proyecto de pronóstico de demanda de 8 meses con la consigna «probemos a resolverlo con datos».
- El jefe de logística extrajo los registros de salidas de los últimos tres años y vio que, de 1,200 SKU, 80 generaban el 62% de las ventas, mientras que la mitad de los desechos salían de los 400 de menor rotación.
- Al sumar a las ventas del ERP la temperatura, las búsquedas en portales y el calendario de promociones, el gerente de datos descubrió que la demanda de los productos deshumidificadores reacciona a las búsquedas 2 semanas antes que a la temperatura.
- El director de ventas protestó diciendo que «aún así hace falta el sentido de campo», así que se acordó comparar durante 3 meses, solo en 40 productos, la predicción frente a los pedidos de ventas, poniendo ambos números uno al lado del otro.
- Al comparar, el error del modelo de pronóstico resultó en promedio 11 puntos porcentuales menor que el de los pedidos de ventas, y el director de la división dijo «esto lo reconozco» y desde los pedidos de otoño empezó a usar las predicciones como referencia base.
- Durante ese proceso se detectó que los códigos de motivo de devolución de los distribuidores se registraban de forma distinta según el responsable. Se unificaron 12 códigos en 5, se convirtieron en campos obligatorios y la precisión volvió a subir.
- Tras 8 meses, el inventario desechado bajó de KRW 900,000,000 (≈ US$673,600) al año a KRW 530,000,000, (≈ US$396,700) y las ventas perdidas por falta de stock pasaron de unos 40 casos al mes a 12.