Tanto Pentaho Data Integration como su heredero Apache Hop son dos herramientas para el diseño de ETLs Open Source muy utilizadas en las organizaciones.
No obstante, a pesar de su simplicidad y facilidad para crear procesos, no disponen de mecanismos sencillos para gobernar la cantidad de workflows y pipelines generados ni mucho menos saber qué tablas origen y destino están involucradas en cada una de las transformaciones.
Todos procesos acaban generando un maremágnum difícil de gestionar y que hace cada vez más difícil contestar a preguntas del tipo:
Por ello, en Best hemos desarrollado un sistema que permite determinar las tablas de entrada y salida de los diferentes procesos de Pentaho Data Integration y Apache Hop. En una plataforma como Open Metadata almacenamos los diferentes procesos y establecemos el linaje con las tablas subyacentes previamente cargadas en la plataforma.
¿Cómo funciona nuestro sistema?
Mediante un extractor desarrollado específicamente conseguimos dos cosas:
El procedimiento y los conectores son muy sencillos de utilizar e instalar, facilitando la posibilidad de conseguir un linaje en muy poco tiempo.
Nuestra solución descarga la información de la mayoría de pasos ETL de entrada y salida que tienen conectividad con sistemas de bases de datos.
Nuestro procesamiento es capaz de determinar las tablas utilizadas tanto en pasos con configuración fija (e.g., table output) como cuando se utiliza una sentencia SQL libre (e.g., Table input).
Una vez extraída la información de estos pasos y procesadas las tablas que utilizan, se genera un linaje que puede cargarse en una plataforma de gobierno de cara a poder saber para cada proceso las tablas que lee y carga.
Linaje ampliado de varios procesos de Pentaho con las tablas Oracle que utilizan.
Este proceso complementa nuestro proceso de generación de linaje en capas de visualización (e.g., Strategy o PowerBI) consiguiendo entonces el end to end del linaje en una plataforma de gobierno a través de varias tecnologías (Base de datos, ETL y visualización).
