Bij Monkey Consultancy hebben we een eigen Azure Data Framework with Automation ontwikkeld (hele mond vol), waarmee we de time-to-market enorm versnellen doordat we code kunnen genereren. Zo kunnen we hiermee, in combinatie met DataOps, snel nieuwe bronnen ontsluiten en beschikbaar stellen binnen Azure.

Het ‘Azure Data Framework with Automation’ bestaat uit een drietal onderdelen, namelijk:
– Azure Data Factory Framework
– Azure Data Warehouse Framework
– Azure DevOps (CI&CD, DataOps) voor het volledig automatisch builden en deployen

Azure DWH Framework for Automation - Azure Data Architecture

 

 
Azure Data Factory Framework
Het Azure Data Factory Framework specialiseert zich in het ophalen van externe (publieke) of interne data m.b.v. Azure Data Factory. Ontzettend veel bronnen worden standaard ondersteunt, zoals OData, CSV, JSON, API’s en meer. Deze data wordt gekopieerd naar een ‘landing’ in de vorm van CSV-bestanden. Optioneel kan men een Data Lake inrichten, waarin alle data in origineel formaat wordt opgeslagen.

Azure DWH Framework for Automation - ADF Framework

 

 
Azure Data Warehouse Framework
Het Azure Data Warehouse Framework richt zich op het inlezen en verwerken van alle data, om dit vervolgens opgeschoond aan te kunnen bieden aan eindgebruikers.

 

 
Azure DevOps (CI&CD, DataOps)
Met behulp van Azure DevOps, zijn we in staat om volledig automatisch nieuwe code te ‘builden’ en deployen naar alle omgevingen binnen de OTAP-straat. Versioning m.b.v. Git ondersteunt ons in het ontwikkelproces en m.b.v. Scrum of Agile worden de taken ingedeeld. Geheel in de stijl van DataOps dus, we helpen uw organisatie met de overgang naar DevOps voor uw Data-landschap.

 

 
Data Warehouse Architectuur:
De architectuur maakt gebruik van een Data Warehouse (DWH) met daarbinnen aparte Staging-tabellen om de structuur van de CSV-bestanden te valideren en data types te forceren. Om historie te bewaren maakt het DWH gebruik van Start- en Einddatums en ook Point in Time Analysis (PIT). Tevens weten we wat actueel is (in de bron) en welke records eventueel verwijderd zijn. Daarnaast richten we een (eventueel aparte) DataMart in, met daarin een geconsolideerd dimensioneel model met opgeschoonde data. Dit alles natuurlijk niet zonder een Analysis Services Tabular Model voor de presentatie-laag met daarin alle feiten, dimensies en KPI’s. Deze is gemakkelijk te gebruiken is i.c.m. Power BI maar zeker ook voor draaitabellen binnen Excel.

Azure DWH Framework for Automation - DWH Architecture

 

 
Beveiliging van data:
Alle data wordt m.b.v. Transparent Data Encryption veilig opgeslagen op disk en binnen backups. Binnen de databases kunnen we specifieke velden extra beveiligen met Dynamic Data Masking. Voor het registreren van alle activiteiten op de database, configureren we Database Auditing.

Secure Azure SQL DB

 

 
Onderhoud:
Door middel van Auto Tuning en i.c.m. met onze onderhouds scripts (voor indexen en statistieken), is het onderhoud van de databases teruggebracht naar slechts een handvol uren per maand.

 

 
Tooling:
Binnen het ‘Azure Data Framework with Automation’ maken we gebruik van de volgende tools:

Azure DWH Framework for Automation - Tooling

 

 

 

 

 

 

 

 

 
 
Golden Records:
Data Quality Service (DQS), Master Data Management (MDM) en Golden Records…hoe we dit doen? Je leest het hier.

 

 
Azure Data Warehouse run-time kosten:
We hebben een berekening gemaakt wat nu de run-time kosten zijn van ons Azure Data Warehouse (DWH).
De maandelijkse kosten per Azure omgeving komt dan neer op ca. € 750,- per maand per OTAP-omgeving, klik hier voor meer informatie. Dit zijn Azure run-time kosten, exclusief softwarelicenties.

Uit ervaringen bij klanten blijkt dat in de 1e maand de Azure kosten slechts € 400,- bedragen voor de Ontwikkel-omgeving, € 250,- voor Test/Acceptatie-omgevingen en € 400,- voor de Productie-omgeving (incl. DevOps kosten).

 

 
Azure Data Framework with Automation inrichten:
Interessant? Wat dacht u van het volgende?
Binnen één maand zijn we in staat om het gehele ‘Azure Data Framework with Automation’ voor u in te richten.

Het implementatietraject ziet er als volgt uit:
Week 1: Inrichten van het Azure Data landschap en DevOps
Week 2: Hands-on training, way-of-working en kennisoverdracht
Week 3: Intensieve begeleiding bij het ontsluiten van bronnen
Week 4: Intensieve begeleiding bij het opbouwen van Data Marts

Een ander implementatietraject kan er als volgt uit zien:
Week 1: Inrichten van het Azure Data landschap en DevOps
Week 2 & 3: Ontsluiten van 5 (x 2 dagen) bronnen t/m het DWH
Week 4: Starten met het opbouwen van Data Marts en ‘cube’ voor Power BI

 

 
Neem contact met ons op voor een vrijblijvende demo bij u op locatie: clint.huijbers@monkeyconsultancy.nl