Almacén de datos · Lago de datos
Data Warehouse / Data Lake
¿Qué es un data warehouse?
- Warehouse = almacén ordenado para el análisis
- Lake = lago que guarda el original tal cual
- Elegir según el propósito
En realidad, elegir el almacenamiento es decidir cuándo ordenar los datos. El data warehouse exige ajustar la estructura de las tablas antes de cargar; el data lake carga todo primero y lo interpreta al momento de consultarlo. Por eso, cuando un área pide «solo un indicador más», cambia la velocidad de respuesta: en el warehouse, modificar el modelo y recargar toma de 2 a 3 semanas, pero las cifras no fluctúan; en el lake se puede abrir hoy mismo, aunque cada vez hay que preguntar quién garantiza esas cifras.
Para distinguir ambos en la práctica hay tres criterios. El primero es la forma: los datos con filas y columnas definidas, como pedidos o contabilidad, encajan en un almacén de datos (data warehouse); los datos heterogéneos, como registros de aplicaciones, grabaciones de atención al cliente o imágenes, encajan en un lago de datos (data lake). El segundo es el costo: un almacén que incluye el motor de análisis además del almacenamiento de objetos donde solo se guarda el original cambia de orden de magnitud el costo de guardar 1 TB. El tercero es el orden: si se depura antes de cargar (ETL) o se carga antes de depurar (ELT). El lakehouse añade tablas y transacciones sobre el almacenamiento del lago para estrechar esa frontera, mientras que el data mart es un subconjunto del almacén recortado para un departamento específico, no una opción separada.
Lo que más suele fallar en el terreno es la creencia de que «si guardamos todo, algún día se usará». Si se acumula durante tres años sin catálogo ni responsables, de las 800 tablas ya no queda nadie que pueda explicar el significado de cada columna, y el lake se convierte en un pantano que nadie puede usar. También es frecuente el error contrario: como ya hay un lake, se dice que no hace falta un warehouse y se conecta el dashboard de dirección directamente a los datos originales. Cada vez que un ejecutivo consulta, se escanean varios TB y la factura de la nube sube cada mes. Antes de cargar, lo que hay que definir no son las herramientas sino quién es el dueño de estos datos.
Jaryong KooDoctor en marketing y referente en análisis de datos con IA y en marca personal
John KimAutor de «Diseño de marketing B2B» y CEO de Nanum Consultoría| Diferencias | Data warehouse | Lago de datos |
|---|---|---|
| Forma de almacenamiento | Datos organizados y estructurados | Original, incluidos los datos no estructurados |
| Uso | Análisis y reportes inmediatos | Guardar primero, usar después |
| Analogía | Almacén ordenado | Un lago de materias primas de todo tipo |
El data warehouse fue formalizado en los años noventa por Bill Inmon y otros, mientras que el data lake surgió hacia 2010, en la era del big data, para guardar también datos no estructurados en su forma original.
Veamos un caso hipotético. A es una distribuidora de artículos para el hogar, con 410 colaboradores e ingresos anuales de KRW 210,000,000,000 (≈ US$157,178,600). Sus datos de pedidos y de socios estaban bien guardados en un warehouse, pero los registros de aplicaciones y las grabaciones de atención al cliente permanecían olvidados en un servidor de archivos. El modelo de predicción de abandono que pidió el área de marketing fracasó dos veces por «no hay datos originales para entrenarlo», y agregar un solo indicador nuevo tomaba en promedio 18 días.
- El jefe de equipo Kim, de Plataforma de Datos, trasladó tal cual 4.2 TB de registros de aplicaciones acumulados durante tres meses a almacenamiento de objetos, y adjuntó un catálogo con solo tres datos: fecha de carga, fuente y responsable.
- Cuando el CFO preguntó cuánto aumentaría el costo de almacenamiento, el jefe de equipo Kim cambió la estructura para que el original quede en el lake y solo los datos depurados vayan al warehouse, y con ello redujo la carga del warehouse a un tercio de la anterior.
- El jefe de sección Lee, del área de análisis de marketing, entrena el modelo de predicción de abandono con los registros del lake junto con el historial de pedidos, pero fijó como criterio que las etiquetas de validación se tomen solo de la tabla de ventas confirmadas del warehouse.
- Ante la presión de las áreas, se asignó un responsable de datos por tabla: la de pedidos la define el área de gestión de ventas y la de registros, el área de desarrollo. El principio quedó claro: una tabla sin responsable no se publica en el catálogo.
- Seis meses después, el tiempo para agregar un nuevo indicador bajó de 18 días a 4 días. Además, el modelo de predicción de abandono identifica el 61% de los clientes que cancelaron en los últimos tres meses, y ya se usa para elegir a quién enviar cupones de recompra.