Eind 2018 is de geautomatiseerde migratiestraat voor de ENGIE Services vestigingen in Nederland opgeleverd! Dit betekent dat vanaf dat moment de periodieke migratie van duizenden complexe servicecontracten, met behulp van de DATPROF ETL tooling wordt uitgevoerd. Tot aan de laatst geplande runs (Q2 van 2019) is ENGIE Services daarmee verzekerd van een gecontroleerde migratie, inclusief rapportages op consistentie en volledigheid.
In dit traject is Trigonus verantwoordelijk geweest voor het project management, de requirements engineering, de architectuur en het functioneel ontwerp van de migratiestraat. Voor het technisch ontwerp en bouw heeft Trigonus in samenwerking met ENGIE een leveranciersselectie uitgevoerd, waarbij Data Excellence als partner is geselecteerd.

Schoning onderweg
De systeemcontext van ENGIE kenmerkt zich door een diversiteit aan bronnen, met daarbinnen veelvuldig inconsistent gebruik van gestructureerde, maar ook ongestructureerde data. Mede hierdoor, en gezien het feit dat het onderhoud van de brondata een zeer intensief proces is gebleken, heeft de opdrachtgever de wens uitgesproken om data-schoning niet ‘aan de bron’ te doen, waar dit doorgaans wel de praktijk is. Voor dit doel is dan ook een ‘data was-straat’ tot structureel onderdeel van het migratieproces gepromoveerd. Hierbij is het mogelijk gemaakt om in verschillende iteraties de data-extracten net zo lang te verbeteren, tot aan de gewenste kwaliteitsstandaarden is voldaan.

Pull vs Push
Andere aandachtspunten betreffen: de complexiteit van de servicecontracten, het afwijkend en veranderend (!) datamodel van het doelsysteem en de specifieke kennis van de contractmanager die benodigd is om een goed gestructureerd servicecontract neer te zetten. Om hierin te voorzien is gebruikt gemaakt van een ‘pull-model’: hierbij wordt de basisstructuur van ieder te migreren contract eerst in het doelsysteem vastgelegd, opgehaald door het migratie-platform, geautomatiseerd verrijkt met de verschillende bron-componenten, en vervolgens gekoppeld aan het doelmodel. Op deze wijze is de expertise van de contractmanagers, met behulp van een gestructureerd ontwerp, op ideale wijze gecombineerd met de kracht van de ETL-software.

Implementatie
Acceptatie is vlot verlopen, en in november was de implementatie een feit! Het uitvoeren van de runs wordt ondertussen door de klant zelf verzorgd.
Enkele quotes van eindgebruikers:
• ‘Eindelijk heldere Nederlands foutmeldingen om de foutopsporing mogelijk te maken’
• ‘Deze methode gaat de datakwaliteit in het doelsysteem aanzienlijk verbeteren’
• ‘De ETL gaat ons heel wat werk uit handen nemen en enorm veel herstelwerkzaamheden schelen!’

Heeft u een datamigratie op het vizier, en/of wilt u graag eens met ons van gedachten wisselen over het onderwerp? Neem gerust contact op!