En el ámbito del análisis de datos, estos deben ser tratados como un producto, es uno de los cambios más importantes que se deben tomar a nivel empresarial. Estos datos, además de ser tratados como un valioso producto, han de mantenerse y proveer un cierto nivel de servicio.
En resumidas palabras, debemos dejar de hablar de conjuntos de datos, y empezar a hablar de productos de datos. En el post de hoy, desde Actions, os hablaremos sobre las dos tendencias que van unidas y que están ganando protagonismo en este campo, los Data Lakehouse y los Data Mesh.
Data Lakehouse
Para entender mejor qué son los Data Lakehouse y los Data Mesh, empezaremos por el principio.
Hasta ahora, siempre analizábamos los datos en almacenes de datos estructurados o Data Warehouse, tablas con relación entre sí que crean un modelo de datos analítico.
Sin embargo, las empresas tienen más datos e información almacenados en archivos, videos, redes sociales, xml, emails, series numéricas… los cuales podríamos analizar. A estos datos los llamaremos datos semiestructurados o no estructurados. Estos datos tienen estructura interna, pero no están predefinidos por otros modelos de datos.
Es de aquí de donde surge la necesidad de empezar a crear bases de datos diferentes en los que incluir estos datos para su posterior análisis. Es a esto a lo que llamaremos Data Lake. La exploración de estos datos será realizada por especialistas, conocidos como Data Scientists. Estos profesionales buscan lógicas entre los datos para lograr análisis útiles para el desarrollo del negocio, creando productos de datos. Es aquí donde se estructuran para que los usuarios de negocio los puedan utilizar. Así podríamos decir que el data Lakehouse es una mezcla entre un Data Lake y un Data Warehouse.
Data Mesh
A pesar de que este desarrollo es un gran avance para las capacidades de análisis y de consumición de datos, la realidad es que al tratarse de una plataforma centralizada encontramos tanto ventajas como desventajas. Por un lado, el que se trate de una plataforma centralizada, el gobierno de los datos es más sencillo, mientras que al ser una plataforma también monolítica su evolución se complica, ya que afecta directamente a todos los procesos. Además, al ser gestionado por un solo equipo que se debe encargar tanto de atender a los generadores de datos para su ingesta como a los usuarios para su consumo, estos procesos acaban convergiendo en cuellos de botella. Es por este motivo por el que aparecen los Data Mesh.
Para entender los Data Mesh, es como si dividiéramos los Data Lake en dominios diferentes de datos con un objetivo común de análisis, ya sea un departamento, una región o una unidad de negocio, por ejemplo. De esta forma los Data Mesh son datos descentralizados, pero para permitir el análisis entre dominios, deben mantener una capa federada de gobierno. Así, cada dominio es el propietario de sus datos, consiguiendo de esta forma que el equipo de la plataforma se centre en la evolución de ésta, gracias a la autonomía que se les ha dado a sus dominios.
Finalmente, debemos empezar siempre por el principio, que son los datos estructurados dentro de un Data Warehouse. A esto le iremos añadiendo datos no estructurados, creando así un Data Lakehouse, creando productos de datos para los usuarios. Así, cuando estos se conviertan en un problema por el volumen generado de la plataforma, es cuando realizaríamos la conversión hacia el Data Mesh.
¿Qué método funcionaría mejor en vuestro negocio?
Si hablamos de una empresa con su propio Data Warehouse y/o Data Lake que está creciendo mediante la adquisición de otras empresas, ¿qué debemos hacer? La realidad es que cada vez encontramos más organizaciones que apuestan por implementar una solución Data Lakehouse o Data Mesh para mejorar la capacidad de análisis de datos, ya que aportan un gran valor competitivo.
Te recomendamos:
Qué son los silos de datos y cómo evitarlos
7 maneras en las que el marketing automation puede mejorar el engagement
