Gracias al feedback todos los que ya disfrutáis del servicio ABA framework, hemos incorporado un más que reseñable conjunto de funcionalidades que ayudarán a todos en el proceso de creación, mantenimiento, despliegue y documentación de soluciones de Business Analytics. Seguimos trabajando, llenos de ideas e ilusión por completar cada vez mas las soluciones en el mundo ABA Framework y contentos con las que ya tenemos. Te resumimos  las que consideramos más relevantes y que abarcan todos los aspectos de ABA, desde el diseño y la gestión de los proyectos hasta la documentación, y por supuesto todos los patrones de diseño ETL

1. Guía de uso de Trello o cualquier herramienta Kanban

Hemos desarrollado un procedimiento, el mismo que solemos usar nosotros en los proyectos, que sabemos funciona y que ayuda al éxito de los proyectos de BI. Cada vez más importante la gestión, el control y la transparencia hacia el cliente. No importa si usas O365 o no, puedes tener un control ágil de proyecto. Si usas O365 entonces el proyecto se adapta genial con los Teams de Office.

2. Múltiples Stagings, Data-Warehouses y Data-Marts

No importa si te gusta más el modelo INMON o el modelo Kimball o tu propio modelo intermedio, con ABA Framework puedes decidir el camino que han de seguir los datos desde su captación hasta su destino final una vez limpios y transformados. A través de los proyectos puedes decidir que objetos de datos recorrerán qué caminos. Además, esos caminos no tienen por qué ser únicos. Tú decides como quieres que tus datos se distribuyan.

3. Gestión de proyectos

El punto clave para conseguir los múltiples stages, Data-warehouses y Data-mart. El concepto proyecto es el que aglutina un conjunto de caminos, caminos que seguirán tus datos desde un origen hasta el repositorio donde finalmente se alojen. Crea tantos proyectos como quieras, o bien duplica el código para tener proyectos estancos. Framework ahora se adapta a cualquier arquitectura que tu diseñes.

4. Control de eliminados

Cada patrón tiene sus ventajas y sus inconvenientes. El mayor inconveniente del patrón DLH, que está basado en lookups es la detección de eliminados. Sin embargo, su mayor fortaleza es la posibilidad de cargas incrementales. Estos dos requisitos, aparentemente irreconciliables quedan integrados ahora con la detección de borrados en el origen. Resuelto de una forma técnicamente elegante y eficiente permite que mantengamos la agilidad de las cargas incrementales pagando un ligero sobre costo para detectar eliminados en origen.

5. Generación de tablas

Hasta ahora el proceso de creación de las tablas y el proceso de creación de paquetes eran dos pasos distintos. Hemos ido observando como a los usuarios de Framework esta parte le resultaba poco clara, generando errores y a veces pérdidas de tiempo. Desde esta versión no tendrás que volver a preocuparte por las tablas en destino. Si existen, se respeta su estructura, si no existen se crean, pero no de forma independiente, sino como parte de la creación de los paquetes de sincronización.

6. Columna incremental

Sin necesidad de personalización adicional alguna, en la versión actual se distingue automáticamente entre columnas incrementales de tipo datetime y de tipo int o long (también convertidas desde tipos de datos de marcas de tiempo en origen). Esto ayuda a que el proceso sea más eficaz y más transparente.

7. Mejoras en sincronización

Cuando no se han producido ni updates, ni deletes no se ejecuta el contenedor de Mezcla. Eso agiliza mucho las cargas grandes sin cambios como es el caso de una sincronización inicial.

8. SchemaVariable

Esta propiedad permite que cuando nos conectamos a orígenes enormes de datos, tablas que tardan días o semanas en sincronizarse, podamos elegir de forma transparente un subconjunto de esa información y desplegar los paquetes sin que estos cambien una coma de su código de esa manera garantizamos que se puede probar la calidad de un paquete sin ingerir una cantidad enorme de datos y sin gastar una enorme cantidad de tiempo. Para hacer uso de esta funcionalidad lo que hacemos es marcar esa campo a ‘Y’. La consecuencia es que de forma dinámica las queries se realizarán sobre el esquema que marque “source_object_schema”, y el valor de esa columna puede ser distinto entre los entornos de desarrollo y de producción.

9. Patrón Dynamics

Las bases de datos de Dynamics Navs, crean los mismos objetos tantas veces como empresas se configuren cambiando simplemente los prefijos de las tablas. El patrón Dynamics (nav) se encarga de, a partir de una lista de empresas configurada, recorrerse esas tablas entre las distintas empresas y consolidar la información añadiendo una columna de número de compañía. De esta forma N tablas de origen se convierte en una sola tabla en el área de Staging (que se está comportando realmente como un área de integración).

10. Naming Convention para paquetes Incrementales.

Al generar los paquetes y es incremental, el nombre del paquete aparecerá con _I al final indicando que es incremental. Este ligero cambio permite que los paquetes al ordenarlos aparezcan justo uno al lado de otro, hecho que cambiaba con la aproximación anterior.

11 Patrón Change Tracking

En esta versión ya aparece un control para usar Change Tracking, Change Tracking es una forma liviana de que el propio sistema capture cambios en tablas, guardando menos información que otros mecanismos como Change Data Capture. Este patrón permite detectar cambios de forma muy muy eficaz con un sobre coste muy bajo en el origen y además incluido en muchas de las versiones de SQL Server.

12 Documentación y Test unitarios

Las tareas de probar y documentar son tan tediosas como necesarias en cualquier proyecto de BI. Desde la idea de automatizar cuantas tareas repetitivas sea posible y aportar un método eficaz de gestionar esa información. Con ese objetivo en mente hemos diseñado un conjunto de herramientas, y técnicas que permiten automatizar la mayor parte de este apartado.

o Documentación automática, en cualquier formato a partir de una plantilla que puede crear el propio usuario
 Incluidas plantillas HTML
 Incluidas plantillas MarkDown
o Test unitarios automáticos para ejecutar sobre Nunit con la capa NBI.
 Test de clave primaria
 Test de cero errores de sincronización
 Test de agregación

12+1 WIKI

Contiene toda la información necesaria para entender que es ABA Framework y como nos puede ayudar con tareas de BI.
o Procesos,
o Control de código fuente
o Creación de paquetes y sincronización
o Creación de dimensiones y tablas de hechos
o Control de test automáticos
o Generación de auto-documentación

 

¡Ahora a disfrutar de estas mejoras!