No nonsens water management
met Azure DataBricks
Onze opdrachtgever is een van de grootste organisaties in nederland op het gebied van drinkwatervoorzieiningen. Omdat drinkwatervoorziening een maatschappelijk kritische sector is, dienen zij zichzelf steeds verder door te ontwikkelen om in de toekomst schoon drinkwater voor Iedereen te garanderen.
De grote hoeveelheden data werden al verzameld in een eerste versie van een Data Warehouse. Er was een een BI/ data science team dat in 1 jaar een platform neergezet op basis van azure data factory icm met Databricks en PowerBI.
Om dit platform te professionaliseren en verder uit te bouwen waren zij op zoek naar een ervaren professional die naast de technische vaardigheden ook de business consultant rol kan invullen om grote nieuwe trajecten te begeleiden.
Vraagstuk
“Kan Fortezza Data ons helpen met het beschikbaar stellen van een senior data engineer die mee kan bouwen aan ons nieuwe data platform in Azure en de rol van product owner op zich nemen voor het back–end team? “
Onze oplossing
De verscheidenheid aan applicaties maakte het een complex traject. Denk bijvoorbeeld aan:
- Grote bronapplicaties zoals Dynamics365, eBoard, AFAS en EAM.
- Het huidige data platform is niet ingericht om data van andere ondernemingen te ontsluiten
- Het data platform is niet ingericht om data van een andere dochter bedrijf te ontsluiten
- Controllers hebben alleen een globaal beeld van wat ze willen zien.
- PowerBI wordt als concurrent van eBoard gezien
- Naast de controllers zijn er ook andere belanghebbenden zoals productie managers die de Winst en Verlies rekening willen doorvertalen naar hun explotatie (projecten).
Fortezza data is gestart op twee vlakken: technisch en functioneel.
Op het technische vlak zijn hebben we een metadatagedreven ETL proces ingericht, zodat we minimale operationele kosten tegen maximale performance kunnen garanderen. Daarnaast zorg dit framework ervoor dat nieuwe datasets (zonder code release naar productie) toegevoegd kunnen worden. Ook is de gehele architectuur voor de combinatie van ADF met DataBricks geoptimaliseerd.
Op het functionele vlak hebben we een scrumwerkwijze geïmplementeerd met behulp van Azure DevOps. Het team is begeleidt door onze senior data specialist om “T-Shaped” te worden en de inzetbaarheid te vergroten. Met het opstellen van de juiste documentatie in DevOps Wiki pagina`s, hebben we het project met een mooi succes kunnen afsluiten.
Applicaties ontsloten: D365, Eboard, AFAS en EAM.
Techniek Fortezza: Azure Data Factory, Azure SQL DB, Data Bricks en Power BI.
Behaalde resultaten
Met het bouwen aan dit nieuwe data platform hebben we de volgende resultaten behaald:
- Inzetbaarheid van team vergroot door T-shape profile
- Doorlooptijden data warehouse geoptimaliseerd met meta data gedreven framework
- Data architectuur geoptimaliseerd voor combinatie ADF en DataBricks
- Maandelijkse Azure kosten geminimaliseerd (met maximale performance)
- Documentatie opgeleverd in DevOps Wiki voor (nieuwe) medewerkers
