Purview inzetten
voor data lineage van je data warehouse
Onze opdrachtgever is door en door Nederlands familiebedrijf die is als allround aannemer gespecialiseerd is in kabel-, leiding- en montagewerken.
In de afgelopen jaren is datagedreven werken een sterk onderdeel geworden van de bedrijfsvoering Nu de Datahub steeds groter wordt en Power BI door meer mensen in de gebruiker community wordt omarmd, is er behoefte om de eindgebruikers te voorzien van heldere en simpele documentatie over welke datasets aanwezig zijn in het data platform.
Daarnaast ware er veel vragen over de herkomst van data, zoals waar het vandaan kwam, welke berekeningen in de datahub werden uitgevoerd en hoe datasets aan elkaar gerelateerd zijn.
Onze oplossing
In slechts 20 werkdagen hebben we een Purview omgeving geconfigureerd waar de data van de datahub automatisch wordt gescand, vastgelegd en klaargezet in een data catalogus met bijbehorende data lineage.
Hier is specifiek aandacht besteedt aan de data lineage voor stored procedures omdat deze niet standaard door Purview opgenomen worden voor de data lineage. Door de juiste confirguratie van zowel purview als de opbouw logica van de datasets, hebben we de volledige data lineage van Power BI tot aan de bron visueel kunnen maken voor de eindgebruikers. Nu zien zijn waar de data vandan komt en hoe deze in de rapportages landt.
Applicaties ontsloten:
Azure SQL database, Power BI, ADF en Datalake.
Techniek Fortezza:
Azure Purview.
Van Gelder DataHub
Behaalde resultaten
Met de configuratie en inrichting van Azure Purview hebben we de volgende resultaten behaald:
- Data lineages van Power BI tot aan bron, inclusief stored procedures, zichtbaar gemaakt voor eindgebrukers
- Data catalogus opgesteld voor alle 400+ datasets
- Releaseproces van Test naar Productie omgeving uitwerkt en gedemonstreerd