Qué es la arquitectura organizacional Data Mesh

El Data Mesh es un concepto cada vez más popular entre los especialistas de plataformas de datos. Las innovaciones tecnológicas y la popularización del Big Data en las compañías conducen a nuevos paradigmas para la descentralización y consumo de datos. En este sentido, la aproximación organizativa Data Mesh puede ayudar a las corporaciones que buscan organizar equipos de datos.

Qué es Data Mesh

El Data Mesh o mallas de datos es una aproximación de arquitectura técnica y organizativa encaminada a la descentralización y gestión a gran escala de los datos analíticos de una organización.

Por qué se está adoptando el Data Mesh

Blanca Mayayo es Product Owner de Sidra Data Platform en Plain Concepts, y antes ha trabajado como ingeniera y líder de producto en empresas como Adidas, Nestlé o Telefónica. En su opinión, son varias las tendencias que están llevando a las empresas a interesarse por una nueva gestión de los datos:

• Las compañías quieren diferenciarse y proporcionar valor gracias a los datos que poseen.
• Desean que todas las áreas de la empresa se aprovechen de ellos, de una manera efectiva y eficiente.
• Al mismo tiempo, cada vez son más relevantes los aspectos de gobierno y soberanía de los datos.

Problemas que permite resolver el Data Mesh

El Data Mesh permite enfrentarse a diversos problemas que las empresas tienen sobre la gestión de datos, como:

• Falta de propiedad o responsabilidad claras sobre los datos. Por ejemplo, en data warehouses o data lakes centralizados, cuyos responsables técnicos no disponen del conocimiento especializado de negocio para aprovechar y optimizar esos datos.
• Ausencia de métricas sobre los datos, que se traduce en desconfiar de los datos para obtener conclusiones o tomar decisiones.
• Dificultad para llevar el expertise de ingeniería al resto de la organización. Al ser un único equipo el que gestiona la plataforma centralizada, esto puede conducir a cuellos de botella o roces entre equipos.

Si estos problemas se mantienen en el medio y largo plazo, la situación deriva en un bajo uso de los datos y en la dificultad para innovar o aportar valor.

Principios del Data Mesh

El Data Mesh se articula alrededor de cuatro principios:

1. Propiedad orientada al dominio
2. Datos como producto
3. Plataforma o infraestructura de datos de autoservicio
4. Gobierno federado

El tercer y el cuarto principios son enfoques más tecnológicos.

Propiedad orientada al dominio

Un ‘dominio’ es un departamento, sección, área… de la compañía. En el principio de la propiedad orientada al dominio en Data Mesh, la responsabilidad sobre los datos iría más allá del equipo de centralizado de plataforma de datos, para llevar este deber a aquellos equipos donde se generan (por ejemplo, el área comercial donde ‘nace’ información sobre los clientes) y que podrían sacarle un valor amplio y de calidad.

Datos como producto

El principio de datos como producto en Data Mesh significa concebir los datos como un producto consumible en el negocio.

Estos datos como productos cuentan con puertos de entrada y de salida:

• Puertos de entrada: Fuentes productoras de datos.
• Puertos de salida: Encargados de exponer los datos para que otras partes de la compañía o usuarios finales puedan consumirlos.

Y no solo esto: los productos tienen que ser fáciles de usar, con métricas y metadatos. Además, se ofrecen en paquetes que incluyen no solo datos y metadatos, sino también el código y la infraestructura con los que se han producido.

Principios DATSIS

Dentro de la malla de datos, estos productos se rigen por los principios DATSIS:

• Discoverable. El producto se tiene que encontrar fácilmente mediante alguna herramienta, como por ejemplo un catálogo de datos.
• Addressable. Para acceder a él, hay que seguir algún tipo de directrices genéricas o globales.
• Trustworthy. Para confiar en el producto, este debe contar con estándares de calidad y de servicio.
• Secure. Se deben definir unas políticas efectivas de acceso granular a estos datos.
• Interoperable.Lo ideal es que los productos sigan estándares abiertos y se puedan usar interfaces múltiples con las que buscar y hallar los datos.
• Self-describing. El paquete tiene que incluir la enunciación de los puertos de entrada y de salida, así como un esquema del producto y la documentación actualizada.

Product thinking

Como en algunas metodologías de trabajo, aplicar la filosofía Data Mesh también ayuda a avanzar para obtener un buen producto o servicios finales.

En opinión de Mayayo, tal vez lo más importante sea priorizar de acuerdo con la entrega de valor de negocio, pero hay otras ideas para tener en cuenta:

• Retroalimentación multidireccional (con el cliente, con otros departamentos…)
• Entregas continuas
• Medición también continua de los éxitos

Para conseguir todo esto, lo ideal es contar con equipos funcionales y autónomos para entregar los productos, así como apostar por la mejora continua y la innovación.

Plataforma o infraestructura de datos de autoservicio

Con una plataforma o infraestructura de datos de autoservicio, la idea es reducir los obstáculos tecnológicos con los que producir y consumir datos, para a su vez crear y consumir productos.

Gobierno federado

Gobierno federado en Data Mesh significa que la toma de decisiones esté lo más próxima posible a cada dominio, pero manteniendo un control centralizado. En este gobierno, la responsabilidad la ejerce un equipo multidisciplinar, en el que no solo se encuentran los especialistas en datos, sino también responsables de ciberseguridad, legal u otros departamentos.

Este gobierno federado asegura este control centralizado mediante estandarización e interoperabilidad de políticas. Al ser estandarizado, se permite a los diferentes equipos trabajar con autonomía.

No obstante, algunas políticas de gobierno centralizadas seguirán siendo necesarias. Mayayo sugiere que por lo menos haya un conjunto de políticas de gobernanza de datos críticos: nomenclaturas estándar para las rutas de datos, orientación para modelar datos, formato de la documentación…

Consideraciones sobre Data Mesh

Data Mesh no es solo tecnología

Data Mesh también significa la gestión de destrezas y conocimiento para desarrollar un producto, aprender de errores o fijar unos KPI y OKR para comprobar los avances.

Data Mesh no es para todos

Si en la empresa ya existe una colaboración eficiente entre departamentos, y esta es efectiva y beneficiosa para el negocio, no es necesario implantar toda una transformación a Data Mesh.

No hay un único Data Mesh

Data Mesh busca descentralizar la propiedad de los datos. Es probable que encontremos diferentes formatos de mallas. Así, puede haber diferentes grados de centralización y descentralización, tanto para datos en bruto como transformados.

Qué tener en cuenta a la hora de implantar técnicamente Data Mesh

Al implantar técnicamente la filosofía Data Mesh, hay que considerar que estas mallas no solo distribuyen datos de manera aislada, sino que los datos se pueden necesitar para integrarse con otras aplicaciones y herramientas de la compañía. Por tanto, la infraestructura de Data Mesh se puede considerar también como una plataforma de integración, con diferentes mecanismos como una API.

Además de ello, como en cualquier diseño moderno de aplicación, es necesario tener en cuenta otras capacidades transversales, como:

• Seguridad
• Elasticidad
• Control de acceso
• Actualizaciones automatizadas
• Monitorización
• Etc.

La infraestructura de autoservicio se puede ver como una caja de herramientas con diferentes utilidades, como, por ejemplo, servicios de catálogo y clasificación de datos, o automatización de infraestructura. Además, lo ideal es que existan un almacenamiento y una computación escalables.

Sidra Data Platform y el Data Mesh

Sidra Data Platform ofrece un diseño de arquitectura compatible con el concepto de Data Mesh. Se trata de un conjunto de herramientas nativas de Plain Concepts, automatizadas y adaptables a cada escenario, que ingesta, cataloga, administra e integra datos en Azure, así como acelera la creación de valor a partir de los datos en la compañía.

Sidra es compatible con el principio de plataforma o infraestructura de datos de autoservicio de Data Mesh. Si las empresas deciden aplicar esta filosofía en su día a día, el software les ayuda a conseguir sus propósitos de que diversos departamentos divulguen y manejen los datos.

Usando Sidra y sus aceleradores, es posible integrar datos de diferentes sistemas y construir casos de uso mediante la creación y despliegue de Aplicaciones Cliente. Estas aplicaciones modulares distribuyen la propiedad de los datos, a la vez que simplifican su producción y consumo entre dominios.

Charla sobre estrategia de datos con Blanca Mayo

Video de Data Mesh

¿Quieres saber más sobre Data Mesh?

En la siguiente charla, Blanca Mayayo explicó qué es el Data Mesh y su vinculación con Sidra:

Y si quieres conocer Sidra Data Platform en profundidad, nuestro equipo resolverá todas tus dudas: