Vanuit onze beproefde concept Innovation Day ontdekken en ontwikkelen collega’s in één dag een werkende oplossing obv nieuwe technologie en een uitdaging.

Tijdens deze Innovation day de proefopstelling Logging en Monitoring.

Probleemstelling

Stabiliteit is een van de belangrijkste aspecten van een betrouwbare informatievoorziening. Als je beslissingen neemt op basis van data wil je op die data kunnen vertrouwen. Het is dus belangrijk dat deze data compleet, correct en voldoende recent is.

In het dagelijks beheer en onderhoud van de informatievoorziening zijn goede instrumenten daarbij onmisbaar. Bijvoorbeeld om goed te kunnen monitoren hoe de dagelijkse dataverwerking loopt.

Maar vaak wordt monitoring en logging gebruikt om achteraf te onderzoeken waarom iets mis is gegaan. Terwijl het beter is om een probleem te kunnen voorkomen.

Op onze Innovation Day editie (juli 2023) is door Team Logging & Monitoring een proefopstelling gerealiseerd die op basis van logging gegevens en een Power BI visualisatie de mogelijkheid biedt om pro-actief een potentieel issue te voorkomen.

Uitwerking idee en inrichting van de proefopstelling

Deze proefopstelling richt zich op een data platform in Azure. Om logging gegevens te verzamelen wordt de Azure Log Analytics ontsloten in de Kusto Query Language (KQL).

Vervolgens wordt daarmee een Power BI dashboard voorzien van data. Hiermee heeft een beheerder en/of gebruiker continue inzicht in zaken als performance, doorlooptijden van pipelines, logging van verwerkingen etc.

Maar het dashboard geeft ook inzicht in trends en gemiddelden en maakt gebruik van alerts indien zaken afwijken daarvan. Zo kan een potentieel probleem inzichtelijk gemaakt worden en kan het aangepakt worden voordat het voor verstoringen zorgt.

Wederom een inspirerende dag samenwerken aan een mooie innovatie waar we mee verder kunnen.

Welke uitdaging heb jij om het dagelijks data laadproeces pro-actief te monitoren?

Meer over dit onderwerp