Bij Monkey Consultancy hebben we een eigen Azure Data Framework with Automation ontwikkeld (hele mond vol), waarmee we de time-to-market enorm versnellen doordat we code kunnen genereren (m.b.v. Biml). Zo kunnen we hiermee snel nieuwe bronnen ontsluiten en beschikbaar stellen binnen Azure.

Het ‘Azure Data Framework with Automation’ bestaat uit een drietal onderdelen, namelijk:
– Azure Data Factory Framework
– Azure Data Warehouse Framework
– Azure DevOps (CI&CD) voor het volledig automatisch builden en deployen

Azure Data Framework for Automation

 

Azure Data Factory Framework
Het Azure Data Factory Framework specialiseert zich in het ophalen van externe (publieke) of interne data m.b.v. Azure Data Factory. Ontzettend veel bronnen worden standaard ondersteunt, zoals OData, CSV, JSON, RSS en meer. Deze data wordt gekopieerd naar een ‘landing’ in de vorm van CSV-bestanden. Optioneel kan men een Data Lake inrichten, waarin alle data in origineel formaat wordt opgeslagen.

 

Azure Data Warehouse Framework
Het Azure Data Warehouse Framework richt zich op het inlezen en verwerken van alle data, om dit vervolgens opgeschoond aan te kunnen bieden aan eindgebruikers.

 

Azure DevOps (CI&CD)
Met behulp van Azure DevOps, zijn we in staat om volledig automatisch nieuwe code te ‘builden’ en deployen naar alle omgevingen binnen de OTAP-straat. Versioning m.b.v. Git ondersteunt ons in het ontwikkelproces en m.b.v. Scrum of Agile worden de taken ingedeeld.

 

DWH Architectuur:
De architectuur maakt gebruik van een Staging om de structuur van de CSV-bestanden te valideren en data types te forceren. Om historie te bewaren kiezen we voor een HistoricalStaging (overigens kan een Data Vault 2.0 ook), waarin we gebruikmaken van Start- en Einddatums en ook Point in Time Analysis (PIT). Tevens weten we wat actueel is (in de bron) en welke records eventueel verwijderd zijn. Daarnaast richten we een DataMart in, welke makkelijk te gebruiken is i.c.m. Power BI.

Azure DWH Framework architecture

Overigens kunnen we vele combinaties configureren, tevens ook met een Raw Data Vault (2.0) en Business Data Vault.

 

Beveiliging van data:
Alle data wordt m.b.v. Transparent Data Encryption veilig opgeslagen op disk en binnen backups. Binnen de databases kunnen we specifieke velden extra beveiligen met een tweede encryptie, dit eventueel i.c.m. met Dynamic Data Masking. Voor het registreren van alle activiteiten op de database, configureren we Database Auditing.

Secure Azure SQL DB

 

Onderhoud:
Door middel van Auto Tuning en i.c.m. met onze onderhouds scripts (voor indexen en statistieken), is het onderhoud van de databases teruggebracht naar slechts een handvol uren per maand.

 

Tooling:
Binnen het ‘Azure Data Framework with Automation’ maken we gebruik van de volgende tools:
Azure Data Framework for automation tooling

 

Azure Data Warehouse run-time kosten:
We hebben een berekening gemaakt wat nu de run-time kosten zijn van ons Azure Data Warehouse (DWH).
De maandelijkse kosten per Azure omgeving komt dan neer op ca. € 750,- per maand per OTAP-omgeving, klik hier voor meer informatie. Dit zijn Azure run-time kosten, exclusief softwarelicenties.

Uit ervaringen bij klanten blijkt dat in de 1e maand de Azure kosten slechts € 400,- bedragen voor de Ontwikkel-omgeving, € 250,- voor Test/Acceptatie-omgevingen en € 400,- voor de Productie-omgeving (incl. DevOps kosten).

 

Azure Data Framework with Automation inrichten:
Interessant? Wat dacht u van het volgende? Binnen één maand zijn we in staat om het gehele ‘Azure Data Framework with Automation’ voor u in te richten.

Neem dan contact met ons op voor een vrijblijvende demo bij u op locatie: clint.huijbers@monkeyconsultancy.nl