Pipeline de datos · ETL
Data Pipeline / Extract · Transform · Load
¿Qué es un pipeline de datos?
- Recopilar, limpiar y almacenar datos (ETL)
- La «tubería» que lleva los datos hasta el análisis
- Construcción de flujo automático
Lo que realmente cambia al instalar un pipeline de datos es quién genera las cifras. Antes, el equipo de marketing descarga CSV de las plataformas publicitarias, el equipo de soporte a ventas extrae datos del ERP, y cada semana todos los unen y ajustan a mano en Excel. Por eso el mismo «ventas del mes pasado» sale distinto en cada área. El pipeline fija ese trabajo manual en código, de modo que el programador, no una persona, genera las cifras. Se reducen las discusiones sobre «qué cifra es la correcta» que ocupaban el inicio de cada reunión, y el punto donde corregir un error pasa a ser un único lugar.
En el diseño se distinguen tres puntos. Primero, hoy se usa más ELT que ETL. Como bajan los costos de cómputo de los almacenes de datos en la nube, conviene cargar primero el dato original tal cual y transformarlo después con SQL, lo que facilita recalcular y recuperarse de fallas. Segundo, la frecuencia. Si no se distinguen los indicadores que bastan con un lote diario de los que necesitan actualizarse por minuto, el costo solo sube. Los reportes financieros y de recursos humanos se resuelven con un lote de madrugada, mientras que el inventario y las transacciones anómalas son los candidatos a casi tiempo real. Tercero, el tiempo de procesamiento puede cambiar decenas de veces según se use una carga completa, que vuelve a cargar todo cada vez, o una carga incremental, que solo carga lo que cambió.
El error más común es creer que, al adoptar una herramienta, los datos se limpian solos. Un pipeline es un sistema de transporte, no una garantía de calidad. Si el equipo de ventas escribe el nombre de un cliente como 'Ganada Co.' en un caso y como 'Ganada Co., Ltd.' en otro, esos dos registros se contarán como clientes distintos aunque pasen por el pipeline. Más peligroso aún es el fallo silencioso. Si el equipo de desarrollo cambia el nombre de una columna de la tabla de pedidos y el responsable de datos no lo sabe, la carga se detiene, pero el tablero sigue mostrando las cifras de ayer. Sin alertas de fallo y conciliación de conteos y totales, el problema se descubre quince días después, al cierre. Un compromiso de aviso previo de los cambios en la fuente y la designación de responsables vienen antes que la elección de la herramienta.
Jaryong KooDoctor en marketing y referente en análisis de datos con IA y en marca personal
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum ConsultoríaPartió del concepto de ETL (extracción, transformación y carga), surgido junto con el data warehouse, y se amplió hacia el pipeline de datos moderno con la nube y el procesamiento en tiempo real.
Como caso hipotético, veamos a A, una empresa que fabrica productos de uso doméstico y los vende en línea y fuera de línea. Tiene 320 colaboradores y ventas anuales de unos KRW 180,000,000,000 (≈ US$134,724,500). Sus datos de venta están dispersos en su tienda propia, cuatro marketplaces, un ERP y un CRM, y para elaborar un solo informe semanal de ventas, dos responsables tardaban dos días. Además, en cada reunión las cifras de ventas por departamento no coincidían, así que los primeros 30 minutos se iban en verificar números.
- Al rastrear un informe semanal de una sola hoja, el analista de datos Kim encontró que incluía 11 archivos de Excel y 34 pegados manuales.
- Cuando el jefe de finanzas preguntó «¿por qué nuestras cifras de ventas y de marketing siempre difieren en un 3%?», se descubrió que el momento en que se reflejan las devoluciones era distinto en cada área, así que se reescribió primero la definición de los indicadores.
- Junto con un proveedor externo de desarrollo, se creó un proceso por lotes que carga cada día a las 3:00 a. m., de forma incremental, los datos de cuatro marketplaces, el ERP y la tienda propia, y se configuró para que si la carga falla, se envíe una alerta al celular del responsable.
- En la segunda semana de operación, uno de los marketplaces cambió la especificación de su API y la carga se detuvo; gracias a las alertas, se recuperó esa misma mañana. Después se acordó incluir los cambios en las fuentes en el anuncio de despliegue del equipo de desarrollo.
- Seis meses después, el tiempo de elaboración del informe semanal pasó de 16 horas (dos personas) a 40 minutos, la diferencia de ventas entre departamentos se redujo a menos de 0.2%, y los responsables de compras pudieron decidir los pedidos de inventario los lunes por la mañana.