Producción en cadena, especialización, son conceptos que desde principios del siglo pasado han ido evolucionando y matizando su significado, adaptándose a las nuevas realidades, transformándose a la vez que transforman el mundo. Curiosamente, han ido evolucionando fundamentalmente a través de la industria del automóvil, llegando a hablarse del “Toyotismo”. Me gustó mucho esta frase porque la división española es uno de nuestros clientes y entendemos perfectamente la exigencia que el modelo impone.

¿Cómo puedo incrementar la competitividad de mi empresa?

En el mundo actual, hay dos cosas que no tienen cabida si uno quiere incrementar su competitividad, la repetición de tareas sin valor de negocio y la introducción de errores en esas tareas banales (o con poca exigencia técnica). Sin embargo, aquí estamos, la industria del Big Data, Business Intelligence, Industria 4.0, IoT y resto de siglas pomposas que no esconden, en algunos casos, estamos repitiendo tareas básicas una y otra vez.

Un error puede llevar a conclusiones de negocio erróneas

¿Y porque esas repeticiones? Para poder conseguir los vistosos finales que todas estas técnicas y tecnologías proporcionan, aún tenemos que extraer datos de algunas fuentes, sincronizar con archivos planos, sistemas Legacy, hojas de Excel, obtener datos de bases de datos relacionales; y sincronizar toda esa información, prepararla, darle sentido, enriquecerla (a veces). Todas estas tareas y procesos, que son los que la industria conoce como ETL o ETCL (extracción, transformación carga y a veces limpieza) tienen la misma naturaleza: leer datos, comparar y escribir en otro lugar, transformar para convertirlos en más legibles, a veces resumirlos, limpiarlos, comprobarlos…

Todos estos procesos son repetitivos, tediosos, y a la vez casi siempre cumplen dos máximas:

Los procesos repetitivos se llevan entre el 70% y el 85% del tiempo de un proyecto
Un error originado en estas fases, muy común por los procesos repetitivos y tediosos, pueden llevar a conclusiones de negocio erróneas y procesos con malos resultados.

Afortunadamente, la industria, preocupada por todos estos temas, se está dotando de utilidades, metodologías y procesos para agilizar la construcción de procesos ETL y para conseguir la calidad que merecen este tipo de proyecto.

Además, los avances metodológicos en la ingeniería del software, metodologías ágiles como SCRUM, Desarrollo orientado a Test, y resto de buenas prácticas en el desarrollo de aplicaciones son aplicables con mayor o menor nivel de adaptación a los proyectos de inteligencia de negocios, Big Data e IoT.

workstation-4

3 elementos fundamentales en un buen proyecto de BI

1. Teniendo siempre un enfoque metodológico.
Los proyectos en nuestra área son cada vez más completos y complejos, es difícil encontrar proyectos de una sola alma omnipresente creando desde un teclado toda una solución. Así pues, necesitamos utilizar herramientas de control de código fuente, de automatización de test, de despliegue automático, en definitiva, necesitamos seguir las buenas prácticas ya conocidas en el desarrollo de software y aplicarlos a nuestro mundo. ¿Es eso posible? la respuesta es rotundamente SI.  Hay metodologías y herramientas suficientes como para hacer de los procesos de construcción de proyectos de BI auténticos proyectos de ingeniería y no de artesanía.

2. Utilizando las herramientas de desarrollo adecuadas
Las herramientas y los entornos no caben duda que son cada vez mejores, Visual Studio y las SQL Server Data Tools son sin duda excelentes herramientas para la construcción de proyectos de ETL. Encima de ellas, lenguajes como el BIML de Varigence unido a conocimientos de desarrollo de software y la experiencia de muchos más de 15 años haciendo proyectos de este tipo nos han llevado a automatizar el 80% de las tareas de desarrollo de software.

3. Llevando un control de calidad del proyecto
Es indiscutible que estamos en el mundo de la excelencia, nada que no tenga un nivel de calidad alto, o muy alto será aceptable por unas empresas y una sociedad cada vez más madura. No es una opción, es una necesidad que tenemos que plasmar desde el principio de los proyectos hasta el final. Chequeos técnicos, chequeos de negocio y que además sean automáticos, ha de ser una prioridad en nuestros proyectos de desarrollo. Ningún proyecto estará realmente completo sin estos controles. Aquí también la industria tiene herramientas, técnicas y medologías que ayudan y que iremos desgranando poco a poco en siguientes entradas.

Bienvenidos al maravilloso mundo del BI y Big Data.

Miguel Egea, Mentor en el área de BI

Estamos realizando un estudio de las problemáticas a las que os enfrentáis en vuestros proyectos de BI. Por favor, ¿podrías ayudarnos completando esta breve encuesta anónima? Gracias.

Cree su propia encuesta de comentarios de usuarios

A %d blogueros les gusta esto: