Tabla de contenido0
Hoy en día nos encontramos en un mundo totalmente digital donde el número de usuarios y los contenidos generados por los usuarios aumenta cada segundo. Las personas son testigos de una explosión en los tipos, disponibilidad y volumen de las diferentes fuentes de datos accesibles en la Web.
Para hacernos una idea de la magnitud del problema y su crecimiento en cifras, los datos generados durante dos días en el 2011 son mayores a los acumulados desde el origen de la civilización hasta principios del 2003. Lejos de toda duda, vivimos en la era de la información.
En el año 2012 la capacidad instalada de almacenamiento de información en el mundo superó los 2´5 zettabytes. El incremento de la capacidad instalada de almacenamiento crecerá a un ritmo de un 50 % anual, lo que llevaría a alcanzar los 100 zettabytes en 2020.
Además, desde hace tiempo la digitalización está adquiriendo gran relevancia y muchas organizaciones y empresas de diferentes dominios están adoptando un proceso de transformación sobre diferentes sectores, y mediante diferentes agentes de transformación digital. Las áreas de la empresa en las que se aplica la transformación podemos dividirla en tres categorías o pilares: experiencia del cliente, procesos operativos y modelos de negocio.
Esta transformación en el dominio de la industria es el concepto conocido como Industria 4.0 o la cuarta revolución industrial: se busca desplegar toda la potencia de las nuevas tecnologías para la optimización de los diferentes procesos productivos, en busca de la resolución de diferentes retos como: cero defectos y optimización de recursos, eficiencia energética o mantenimiento predictivo de elementos críticos.
Transformación de la digitalización
En cuanto a los agentes de transformación actualmente existen un sinfín de nuevas soluciones o paradigmas como pueden ser: Internet de las cosas; sistemas ciberfísicos o fabricación avanzada. En la plataforma High Performance Arquitectures de TECNALIA centramos nuestra atención en el paradigma Big Data y aquellos otras bases de tecnología que ayudan a su implantación como son DevOps y Cloud. A estos tres paradigmas los denominamos como motores de transformación de la digitalización. Estas son nuestras áreas de conocimiento y líneas de investigación principales.
Big Data, DevOps y Cloud se pueden considerar los pilares de la transformación digital que permiten a las organizaciones asegurar la máxima eficiencia y competitividad en sus procesos de IT. Las compañías que se sumen a adoptar el paradigma Big data, y se dejen guiar por sus datos necesitarán modernizar sus metodologías tradicionales en IT, introducir un enfoque DevOps, y utilizar como solución de infraestructura o servicio las tecnologías Cloud, si quieren llegar a implementarlo de forma eficiente.
Inteligencia artificial
A la hora de la transformación digital mediante el paradigma Big Data es relevante su relación con campos de conocimiento como la Inteligencia Artificial o Visión por computador: imprescindible en su adopción que el valor de las soluciones venga siempre orientado y marcado por expertos de estas áreas.
Ante el crecimiento exponencial del volumen de datos en bruto y el riesgo de obsolescencia de soluciones IT, para el tratamiento de la cantidad ingente de datos disponibles en la actualidad, o el interés en comenzar nuevos enfoques analíticos en las organizaciones, se pone de manifiesto la necesidad de desarrollar nuevos mecanismos de almacenamiento, procesamiento y análisis de datos masivos (en el entorno de la industria sobre todo datos procedentes de sensores o actuadores). El objetivo consiste en habilitar herramientas que ayuden en la toma de decisiones que gestionen los productos y soluciones de forma más inteligente, eficiente y sostenible. Todo esto es lo que representa el paradigma Big Data, que tiene múltiples definiciones asociadas: la ofrecida por Gartner: Big data “is high Volume, Velocity and Variety information assets that demand cost-effective, innovative forms of information processing for enhanced insight and decision making.” Gartner 2012.
Sin embargo, en el desarrollo de proyectos bajo este paradigma hay grandes riesgos asociados, escalabilidad, rendimiento, tolerancia a fallos, y divergencia en los entornos y enfoques haciendo que los equipos sean multidisciplinares y la metodología de trabajo deba estar muy bien definida.
- DevOps define un conjunto de buenas prácticas, tanto a nivel de desarrollo como operaciones, incluyendo el enfoque analítico y a los analistas con nuevos paradigmas como DataOps.
- DataOps: una nueva metodología orientada a la automatización del proceso de analítica de Macrodatos, para mejorar la calidad y reducir el tiempo de desarrollo de soluciones de analítica/ciencia de datos.
Infraestructura Big Data
La infraestructura Big Data se caracteriza por volumen, velocidad y variedad: implica escalabilidad tanto de almacenamiento como de procesamiento y distribución. La IaC (Infrastructure as Code) permite automatizar de forma programada los sistemas IT.
Otro aspecto relevante de la infraestructura es su implementación física en Big Data. Hablamos de clúster de ordenadores, una infraestructura costosa de adquirir y mantener. Aquí adquiere importancia el paradigma de computación en la nube: puede ser una gran opción para el despliegue de las soluciones Big Data, teniendo en cuenta su variedad en los modelos de provisión de servicios, desde IaaS (Infrastructure as a Service) hasta SaaS (Software as a Service) u opciones Big Data especializadas como BDaaS (Big Data as a Service), con ejemplos como Amazon EMR, Azure Insights, o Google Cloud Platform (GCP): sin olvidar el peligro de Vendor Locking que implica la selección de un proveedor, lo que nos lleva de nuevo a IaC.
Los riesgos que conlleva un proyecto Big Data, su envergadura, debido a sistemas muy complejos, sus entornos que implican una gran infraestructura, y los requisitos no funcionales como escalabilidad tolerancia a fallos o seguridad, requieren combinar estos paradigmas, necesitan integrarse e implementarse de forma conjunta.
Las empresas fuera del dominio IT, como son las del dominio industrial, no han tenido experiencia en lidiar con las implicaciones y riesgos propios de este tipo de procesos de digitalización. Las novedades son muchas: principalmente nuevos procesos y tecnologías, pero también nuevos roles y metodologías de trabajo, sin olvidar la infraestructura de computación y almacenamiento.
TECNALIA, desde la plataforma HPA, ha detectado que no era factible entender una plataforma Big Data que no utilizara un enfoque DevOps y que no tuviera conocimientos de tecnologías en la nube. Para que las empresas pudieran adoptar estos motores de transformación hemos trabajado en ofrecerles una fórmula compuesta de conocimiento en estos tres paradigmas para ser capaces de asesorarles y acompañarles en la forma de adoptarla: teniendo siempreen cuenta los requisitos propios de su actividad, sus casos de uso y los diferentes enfoques en los que quieren centrarse, bien sea operacional o analítico.
