En el ámbito del análisis de datos, estos deben ser tratados como un producto, es uno de los cambios más importantes que se deben tomar a nivel empresarial. Estos datos, además de ser tratados como un valioso producto, han de mantenerse y proveer un cierto nivel de servicio.
En resumidas palabras, debemos dejar de hablar de conjuntos de datos, y empezar a hablar de productos de datos. En el post de hoy, desde ACTIONS – The CX Company, os hablaremos sobre las dos tendencias que van unidas y que están ganando protagonismo en este campo, los Data Lakehouse y los Data Mesh.
Data Lakehouse
Para entender mejor qué son los Data Lakehouse y los Data Mesh, empezaremos por el principio.
Hasta ahora, siempre analizábamos los datos en almacenes de datos estructurados o Data Warehouse, tablas con relación entre sí que crean un modelo de datos analítico.
Sin embargo, las empresas tienen más datos e información almacenados en archivos, videos, redes sociales, xml, emails, series numéricas… los cuales podríamos analizar. A estos datos los llamaremos datos semiestructurados o no estructurados. Estos datos tienen estructura interna, pero no están predefinidos por otros modelos de datos.
Es de aquí de donde surge la necesidad de empezar a crear bases de datos diferentes en los que incluir estos datos para su posterior análisis. Es a esto a lo que llamaremos Data Lake. La exploración de estos datos será realizada por especialistas, conocidos como Data Scientists. Estos profesionales buscan lógicas entre los datos para lograr análisis útiles para el desarrollo del negocio, creando productos de datos. Es aquí donde se estructuran para que los usuarios de negocio los puedan utilizar. Así podríamos decir que el data Lakehouse es una mezcla entre un Data Lake y un Data Warehouse.
Data Mesh
Aunque este desarrollo supone un gran avance en las capacidades de análisis y consumo de datos, también presenta ventajas e inconvenientes. Al tratarse de una plataforma centralizada, el gobierno de los datos resulta más sencillo. Sin embargo, su carácter monolítico dificulta su evolución, ya que cualquier cambio afecta al conjunto de los procesos. Además, un único equipo se encarga tanto de la ingesta de datos como del soporte a los usuarios. Esta situación suele generar cuellos de botella. Como respuesta a estas limitaciones, surgen los Data Mesh.
Para entender los Data Mesh, puede imaginarse un Data Lake dividido en varios dominios de datos con un objetivo común de análisis. Estos dominios pueden corresponder a un departamento, una región o una unidad de negocio. De este modo, los datos se descentralizan. Sin embargo, todos los dominios comparten una capa federada de gobierno que permite el análisis conjunto. Además, cada dominio es responsable de sus propios datos. Esto permite que el equipo de la plataforma se centre en su evolución, mientras los dominios gestionan sus propios procesos con mayor autonomía.
Por último, la evolución suele comenzar con un Data Warehouse que almacena datos estructurados. Después, se incorporan datos no estructurados para crear un Data Lakehouse. Sobre esta base se desarrollan productos de datos para los usuarios. Cuando el crecimiento de la plataforma hace que este modelo resulte difícil de gestionar, puede evolucionarse hacia un Data Mesh.
¿Qué método funcionaría mejor en vuestro negocio?
Si hablamos de una empresa con su propio Data Warehouse y/o Data Lake que está creciendo mediante la adquisición de otras empresas, ¿qué debemos hacer? La realidad es que cada vez encontramos más organizaciones que apuestan por implementar una solución Data Lakehouse o Data Mesh para mejorar la capacidad de análisis de datos, ya que aportan un gran valor competitivo.
Te recomendamos:
Qué son los silos de datos y cómo evitarlos
7 maneras en las que el marketing automation puede mejorar el engagement
