Data Quality Service (DQS), Master Data Management (MDM) en Golden Records…maar hoe dan?
Een eerste stap is om van ruwe data te komen tot een schone dataset, waarbij DQS en MDM beide een rol spelen.
Lees er hier meer over.

Vervolgens benoemen we alle ‘logische’ business entiteiten (zoals personen, locaties, producten, diensten, etc.), hiervoor gaan we namelijk deze oplossing inrichten. In dit voorbeeld zoomen we in op ‘People‘. Onze oplossing genereert een aantal tabellen (zie hieronder), welke het voor ons nu mogelijk maken om a.d.h.v. ruwe bron data een match te kunnen vinden binnen de MDM dataset a.d.h.v. de ‘MappingTablePeople‘-tabel.

De ‘OutputPeople‘-tabel registreert het matchingspercentage en geeft aan op welke attributen de uiteindelijke match zich heeft plaatsgevonden. Deze tabel is puur ter controle en naslagwerk.

MDM DQS Golden Record - How does it work

 


 

Het kan voorkomen dat een record in eerste instantie nog niet alle velden heeft. Het DQS/MDM proces controleert iedere keer of dat er lege velden in het MDM-record aanwezig zijn en of dat deze nu wel aanwezig zijn in de bron (‘InputPeople‘-tabel). Indien dit zo is, worden deze velden bijgewerkt in het MDM-record. Alle transacties worden gelogd in de onderstaande logging-tabel:

MDM DQS Golden Record - Logging

 


 

Iedere MDM-tabel (in dit geval ‘[mdm].[People]‘) komt met een ‘[mdm].[People_History]‘-tabel welke alle historische wijzigingen registreert binnen de MDM-dataset. Deze wijzigingen (insert, update en/of delete) bieden weer de basis voor een historische dimensie (SCD Type 3 of 6) binnen de Data Mart:

MDM DQS Golden Record - History SCD

 


 

Een vervolgstap is om de bijbehorende dimensie(s) te vullen in de Data Mart voor rapportages.
De complete oplossing ziet er dan als volgt uit:
MDM DQS Golden Record - Loading the Data Mart

 


 

Omgekeerd biedt deze oplossing ook de mogelijkheid om a.d.h.v. schone data in de Data Mart (of binnen MDM) een zoektocht te starten binnen het gehele (ruwe) datalandschap. Bij een ‘verzoek tot inzage persoonsgegevens‘ of ‘verzoek tot verwijderen‘ vanuit GDPR of AVG, kunnen we m.b.v. een paar queries achterhalen in welke bronnen deze persoon voorkomt en ook welke data er is opgeslagen rondom deze persoon:
MDM DQS Golden Record - GDPR Usage

 


 

Veel is mogelijk! Deze demo is op basis van klantgegevens en is gemakkelijk uit te breiden met bijvoorbeeld producten, diensten en/of bedrijven.

De oplossing draait ‘native’ binnen Azure en de run-time kosten zijn ca. € 2,- per entiteit per maand met 100.000 records.
Impact op de ETL? Nee hoor, in een handvol minuten is het gehele proces klaar en kunt u de Data Mart vullen.

Interesse in een live demo bij u op locatie? Neem dan contact met ons op: clint.huijbers@monkeyconsultancy.nl