Presente y futuro de la arquitectura de datos: La evolución de las empresas impulsadas por data

Aunque muchas empresas lo pasen por alto, la arquitectura de datos es una de las facetas más importantes del panorama tecnológico empresarial. Durante los últimos años ha ido ganando importancia y transformándose impulsada por la IA, el Big Data y una mayor demanda de procesamiento de datos en tiempo real.  

Las tendencias en data y las previsiones de futuro en la arquitectura de datos dejan ver un momento que promete redefinir la forma en la que gestionamos los datos y la forma en la que se toman decisiones empresariales.  

Con nuevas tendencias como el procesamiento de datos en tiempo real, la malla de datos y el análisis avanzado, la arquitectura de datos se va a convertir en un factor clave transformador y disruptivo. ¡Te contamos todos los detalles! 

Evolución de la arquitectura de datos

La arquitectura de datos está evolucionando para ofrecer autoservicio de datos habilitados por metadatos.  

Las mejores prácticas para una arquitectura de análisis de datos eficiente han ido evolucionando desde las últimas décadas, impulsadas por la transformación digital y la necesidad de modernizar las estrategias y aprovechar los datos para conseguir más beneficio empresarial.  

Según Gartner, la distribución cronológica quedaría así: 

• Antes del 2000 y la era del data Warehouse empresarial (EDW): las arquitecturas se centran en el éxito de estos almacenes de datos.  
• 2000 al 2010 y el momento posterior a EDW: en este periodo se puso especial foco en el análisis de los datos fragmentados, donde se dependía de los Data Warehouse. Cada consolidación de data mart conducía a otro silo de datos que generaba análisis fragmentados e inconsistentes. 
• 2010 al 2020 y la era del Data Warehouse lógico (LDW):  se pasó a un análisis de datos más unificado a través de una capa semántica común, lo que permitió el acceso a almacenes, mercados y lagos de datos. Es aún la práctica más habitual. 
• Del 2020 en adelante: durante los próximos años veremos un análisis de datos aumentado en el que se utilicen todas las fuentes de datos relevantes, a las que se podrá acceder y habilitar mediante análisis avanzados, motores de recomendación, orquestación de datos e inteligencia artificial, prácticas adaptativas y análisis de metadatos.  

La democratización del acceso a los datos y el análisis de autoservicio está impulsando la evolución hacia una era de los metadatos activos. Estos ampliarán los casos de uso más allá de los que facilitan los LDW, desde gestión de datos maestros, intercambio de datos entre empresas, integración de datos B2B, intercambio de datos de socios, integración de datos de aplicaciones, etc.  

Estos metadatos describen diferentes facetas de los datos, como si fueran un subproducto del movimiento de datos a través de los sistemas empresariales. Hay cuatro tipos: técnicos, operativos, comerciales y sociales. Cada tipo puede ser metadatos “pasivos” que las organizaciones recopilan, pero no analizan activamente, o “activos” que identifican acciones en dos o más sistemas que utilizan los mismos datos.   

Data Fabric

Data Fabric es un concepto emergente de diseño de integración y gestión de datos, cuyo objetivo es lograr una integración de datos flexible, reutilizable y aumentada para respaldar el acceso a los datos en toda la empresa. 

La estructura de datos ha sido una evolución natural para las empresas, desde sus modelos lógicos de almacenamiento hasta la modernización de la arquitectura aprovechando la tecnología y los metadatos.  

Este enfoque ofrece numerosos beneficios desde diferentes perspectivas: 

• Empresarial: permite a los usuarios menos técnicos encontrar, integrar, analizar y compartir datos rápidamente. 
• Equipo de gestión de datos: consiguen ventajas de productividad derivadas del acceso automatizado a los datos y la integración, lo que da una mayor agilidad y mejores resultados. 
• Organización: las empresas obtienen información más rápida a partir de inversiones en datos y análisis, mejora la utilización de los datos organizacionales, se reducen los costos y se consigue más información sobre el diseño, la entrega y la utilización efectiva de los datos.  

Con todo ello, los factores que determinan si el diseño de la estructura de datos es adecuado para cada caso son: la integridad de los metadatos y la experiencia en la estructura de datos dentro de la organización. Las que apenas cuenten con metadatos tendrán muy difícil encontrar beneficios, así como verán un aumento de dependencia de expertos que ayuden a descubrir, inferir o crear metadatos.  

Data Mesh

La malla de datos adopta un enfoque de arquitectura que permite la gestión de datos descentralizada. Su objetivo es definir, entregar, mantener y gobernar productos de datos de manera que los hagan fáciles de encontrar y utilizar por parte de los consumidores de datos.  

Por ello, la arquitectura de Data Mesh se basa en descentralizar y distribuir la responsabilidad de los datos a las personas más cercanas a estos y compartirlos como un servicio.  

Ofrece numerosos beneficios, como una mayor autonomía para las líneas de negocio, menos dependencia de la IT central o la rotura de los silos gracias a la descentralización de los datos.  

El éxito de esta arquitectura dependerá del modelo organizacional y las habilidades de datos en las líneas de negocio. ¿Cómo funciona esto? Si el conocimiento de los datos, la autonomía y las habilidades en materia de datos no son consistentes y varían mucho según el departamento o la organización lo pueden poner las estrategias en marcha, la IT central dará más soporte.  

Bien aplicada, las líneas de negocio pueden evolucionar hacia una mayor autonomía dentro de un entorno de malla de datos mediante la creación de nuevos roles para gestionar la definición, creación y gobernanza de los productos de datos. Siempre y cuando se tengan el compromiso de desarrollar habilidades de datos distribuidos.  

La malla de datos transfiere la responsabilidad del gobierno de los datos a los diseñadores y usuarios de aplicaciones de dominio, por ello, para que una línea de negocio cree y exponga productos de datos de forma autónoma, debe definir la gobernanza y la gestión de datos locales que cumplan con la orientación central del CISO y el CDO. 

Es una buena opción para las organizaciones que cuentan con metadatos incompletos. Siempre y cuando cuenten con arquitectos de datos con experiencia en la materia que puedan comenzar con esta arquitectura y construir almacenes de metadatos activos en paralelo.  

Arquitectura flexible

La flexibilidad es una de las características más buscadas en cualquier organización que esté en plena digitalización y quiera superar los retos de la complejidad de los entornos modernos. 

En un momento en el que trabajamos con entornos locales, cloud, multinube, híbridos, etc., las compañías necesitan revisar su estrategia para contar con una arquitectura de datos sólida y planificada. Solo así se garantizará que las nuevas tecnologías que se implementen serán coherentes con la infraestructura existente y puedan soportar demandas futuras. 

La clave para conseguirlo pasa por 4 pilares: 

• Diseñar una estrategia que abarque todo el ecosistema de datos: es crucial establecer una estrategia global cloud que dé prioridad a los proveedores para tener la posibilidad de hacer implementaciones adicionales. Así se mitigan los riesgos que las nubes no autorizadas puedan representar en la arquitectura.  
• Alinear los requisitos de datos con los casos de uso: los casos de uso distribuidos y complejos están impulsando nuevas innovaciones que dan valor comercial y el acceso a datos de autoservicio. El éxito dependerá de la capacidad de satisfacer los casos de uso de los consumidores empresariales. 
• Evaluar patrones de integración: nos encontramos ante el desafío de mover datos a través de diferentes sistemas locales y cloud, así como el rápido crecimiento de su volumen, lo que hace fundamental la evaluación de los patrones para identificar una arquitectura confiable y eficiente que sirva para casos de uso empresarial en evolución y solucione las necesidades de soberanía y cumplimiento. 
• Adopción de código abierto y los estándares para inversiones futuras: utilizar estándares abiertos o neutrales, así como comprender las opciones de almacenamiento y los estándares de código abierto hacen que los metadatos se puedan compartir entre plataformas en un entorno empresarial.  

Claves para conseguir una arquitectura de datos moderna

Según McKinsey, hay tres factores fundamentales que están impulsando el crecimiento económico en referencia a los datos: ventajas competitivas para compañías impulsadas por la tecnología y los datos, retorno mayor en empresas que invierten continuamente en innovación y el potencial económico de la IA generativa para la creación de nuevos casos de uso.  

Todo ello demuestra la importancia de los datos como impulsor de este conocimiento, sin los cuales no se podrá el buen funcionamiento del resto de tecnologías. Por ello es tan importante que los líderes de decisión viren hacia un modelo de data driven. Para ello, se pueden implementar algunos cambios en la organización como: 

1. Priorizar los datos de calidad: es importante pasar de un enfoque basado en datos de forma esporádica e ineficiente a un modelo en el que se aprovechen los datos y se utilicen técnicas innovadoras para resolver los desafíos. 
2. Potenciar la tecnología de análisis y datos: generalmente, solo una fracción pequeña de los datos disponibles en la empresa se ingiere, procesa y analiza en tiempo real debido a los límites de los sistemas heredados. Pasar a modelos de análisis avanzados sofisticados (IA generativa, datos de autoservicio y plataformas de low code) será clave para generar conocimientos más rápidos y potentes.  
3. Crear productos de datos dinámicos y reutilizables: los ingenieros de datos suelen dedicar mucho tiempo seleccionando y debatiendo repetidamente sobre conjuntos de datos. Pero si se seleccionan en productos de datos dinámicos, ricos y multipropósito, se minimiza la ingeniería de datos y facilita casos de uso de alto impacto, maximizando el tiempo de comercialización y el ROI. 
4. Tratar los datos como un producto: muchas veces, los conjuntos de datos se almacenan en entornos aislados, costosos y sin “dueño”. Sin embargo, si se tratan como productos con equipos alineados con ellos para incorporar seguridad, desarrollar la ingeniería e implementar herramientas de análisis y acceso de autoservicio, se podrán satisfacer las necesidades de todos los usuarios. 
5. Ampliar el papel del director de datos para generar valor: en lugar de darles el papel de desarrollar y rastrear el cumplimiento de políticas y estándares, los CDO y sus equipos deben idear formas de utilizar los datos, desarrollar una estrategia empresarial e incubar nuevas fuentes de ingresos para monetizar los servicios. 
6. Integración del ecosistema como norma: en lugar de tener los datos aislados y que sean difíciles de compartir, se debe cambiar a plataformas de intercambio de datos para facilitar la colaboración en proyectos. Así se participará activamente en una economía de datos para crear conocimientos más valiosos para todos los usuarios. 
7. Priorizar y automatizar la gestión de datos: muchas empresas consideran la gestión, privacidad y seguridad de los datos como cuestiones de cumplimiento que se regulan con procesos manuales que dificultan la recuperación y protección de estos. Ahora se pueden utilizar herramientas de IA y técnicas innovadoras para permitir datos de autodescripción, mejorar la calidad y generar scripts que den acceso seguro a los datos casi en tiempo real.  

Cambios como los mencionados anteriormente tendrán resultados muy positivos en la organización. Sin embargo, muchas empresas fracasan a la hora de traducir estas buenas prácticas en acciones concretas y tangibles. El cambio debe ser amplio y profundo, comenzando con el desarrollo de una hoja de ruta clara que priorice los dominios de valor e identifique las fuentes de datos que pueden impulsar las soluciones necesarias.  

Conseguir una architectura moderna de data

El diseño de la arquitectura de datos es fundamental para crear una visión de las interacciones que se producen entre los sistemas de datos, además de describir el tipo de estructura para administrar los datos de forma sencilla y facilitar el preprocesamiento de datos. 

En Plain Concepts te ayudamos a definir tus requisitos y directivas empresariales, tecnologías en uso, economía y necesidades de procesamiento de datos para gestionarlos de una forma eficiente a través de una arquitectura que te haga alcanzar tus metas.  

Nuestro objetivo es abordar el reto de la estrategia digital y de datos desde un prisma empresarial con el que podrás obtener beneficios, usando un marco estructurado acorde con tus necesidades. 

Con este enfoque, definimos la estrategia digital y de datos necesaria a través de un proceso de inmersión, madurez y consolidación, trabajando en la generación de beneficios a corto plazo que de credibilidad a esta estrategia.   

1. Evaluamos el grado de madurez del dato de la compañía. 
2. Identificamos los datos críticos que gestionar, controlar y explotar. 
3. Establecemos casos de uso objetivos, centrados en generar beneficios a medio plazo y diseñar las iniciativas para implementarlas.  
4. Generamos interés y compromiso en tu equipo a través de formación sobre la importancia y el potencial de la gestión basada en datos.  

Si quieres empezar ya a convertir tus datos en información práctica gracias a las últimas tecnologías de arquitectura, almacenamiento y procesamiento de datos, ¡contacta con nuestros expertos y comienza ya tu transformación!