Logic Apps voor ETL Monitoring

Posted on by

Vergeet je niet om ook monitoring in te richten op Azure? 🙂
In ons geval gebruiken we Azure SQL Databases met custom logging tabellen:



 

De volgende query helpt ons bij het monitoren van de nachtelijke ETL batches:

SELECT COUNT(*) AS NrOfErrors
FROM logging.BatchLog b
WHERE b.StartDateTime > DATEADD(DAY,-1,GETDATE())
AND b.Status != 'Success'

 

Logic Apps to the rescue!
In tegenstelling tot Azure’s ‘Monitor’ (linksonder in het Azure Portal menu), kun je Logic Apps wel gemakkelijk configureren:

Logic Apps ETL Monitoring
 
Je kunt natuurlijk ook controle-queries schrijven voor andere Azure Resources, zoals voor het Azure SQL Data Warehouse of het Azure Data Lake.

 

Heb je vragen m.b.t. Azure? Neem dan contact met ons op: clint.huijbers@monkeyconsultancy.nl