Een future-proof data platform. Die term hoor ik vaak voorbijkomen in mijn werkveld. Het gaat dan om een compleet data platform in de cloud, gebruikmakend van de allernieuwste tools. Op die manier wil een organisatie in één keer klaar zijn voor alles wat in de komende jaren op haar afkomt. Ik durf te beweren dat je hiermee juist níet klaar bent voor de toekomst. Laat me je uitleggen hoe dat zit.

Door: Job Ammerlaan, Solution Architect bij Riviq

Data engineering is nog een jong principe. Sinds de opkomst van clouddiensten zijn de ontwikkelingen binnen dit vakgebied in een stroomverstelling geraakt. Om een beeld te schetsen: veel van de tools die we nu als standaard beschouwen, bestonden vijf jaar geleden nog niet eens. In zo’n rap veranderend werkveld weet je nooit zeker welke ontwikkelingen je te wachten staan. Daarom is het belangrijk dat organisaties die met data werken daar rekening mee houden.

Toch zie ik nog veel organisaties kiezen voor een ‘ouderwetse’ aanpak wanneer ze een (nieuw) data platform willen opzetten of migreren. Er moet dan het liefst in één keer een compleet data platform komen. Dat zorgt voor een lange – en dus complexe – boodschappenlijst, zowel qua tools als functionaliteiten. Veel organisaties willen een platform in de cloud, met onder andere een data lake, een data warehouse, rapportagemogelijkheden, mogelijkheden voor data science, een goede inrichting voor metadata management – en zo kan ik nog wel even doorgaan.

Als een organisatie al een hoge volwassenheid heeft op het gebied van data moet zo’n platform ook nog eens naadloos aansluiten op alle bestaande businessprocessen. Dat betekent altijd dat er maatwerk moet plaatsvinden.

Best begrijpelijk allemaal, want organisaties willen natuurlijk zoveel mogelijk met hun data kunnen doen, en het liefst zo snel mogelijk. Helaas moet ik die organisaties teleurstellen.

De mythe van een future-proof data platform

Volgens mij is een future-proof data platform een mythe. Sterker nog, ik denk dat je met deze aanpak juist het omgekeerde bereikt. Je creëert namelijk een statisch platform, waarmee je haast onmogelijk kunt meebewegen met zowel de nieuwste technologische ontwikkelingen als veranderingen in de markt waarin jouw organisatie zich bevindt.

De meeste organisaties proberen dat te ondervangen door een meerjarenplan op te stellen, waarin ze een nauwkeurige roadmap uitstippelen. Maar dan sla je de plank mis. Zo’n plan maak je namelijk op een moment waarop je nog onvoldoende zicht hebt op wat er komen gaat, zowel qua techniek als wensen uit de business.

Op naar een future-ready data platform

Ik ben van mening dat het inmiddels tijd is voor een andere kijk op het bouwen van dataplatforms. Een data platform zou niet future-proof moeten zijn, maar future-ready. Met als belangrijkste kenmerk: optimale wendbaarheid om in te spelen op ontwikkelingen. Dat kun je bereiken door de volgende twee dingen goed aan te pakken:

1. Modulair bouwen

De belangrijkste factor van een future-ready data platform is dat je onderdelen eenvoudig kunt vervangen, zonder dat je gehele platform instort. Deze manier van bouwen kost in sommige gevallen meer tijd, maar het betaalt zich terug in een veel grotere mate van flexibiliteit. Bij modulair bouwen houd je rekening met de volgende factoren:

• Verantwoordelijkheden scheiden
Stel, je gebruikt een tool in je data platform voor scheduling & monitoring én voor het uitvoeren van taken binnen het platform. In een modulaire opzet zorg je dat je deze twee verantwoordelijkheden compleet scheidt. Dat doe je bijvoorbeeld door het uitvoeren te wrappen in een module. Op die manier wordt het uitvoeren een op zichzelf staand element, waardoor je deze implementatie gemakkelijk kunt aanpassen of vervangen zonder dat de rest van je data platform er hinder van ondervindt. Of je kunt je scheduler vervangen zonder dat de executie hoeft te veranderen.

• Open-source tools inzetten
Benut de kansen van open-source tools, zoals dbt, Airflow of Airbyte. Deze tools zijn relatief klein en hebben vaak specifieke doelen. Dat maakt modulair bouwen eenvoudiger, onder andere omdat je deze tools bijzonder goed kunt inzetten om gescheiden verantwoordelijkheden af te handelen. Daarnaast betaal je vaak lage of geen licentiekosten, waardoor je tools desgewenst gemakkelijk kunt vervangen. Dit in tegenstelling tot de klassieke licentiemodellen waar je vaak meerdere jaren aan vastzit.

• Infra-as-Code gebruiken
Het handmatig uitrollen van aanpassingen aan je infrastructuur is foutgevoelig en erg tijdrovend. Door Infra-as-Code te gebruiken voor je deployment kun je sneller en geautomatiseerd je infrastructuur updaten. Ook kun je bijvoorbeeld eenvoudiger je data platform uitbreiden, omdat je simpelweg je code kunt hergebruiken. Dat stelt je in staat om snel gebruik te maken van toekomstige ontwikkelingen in de markt.

Binnen Riviq hebben we deze slag al voor je gemaakt. Dankzij de oplossing BlueBox heb je een kant en klare oplossing waarmee je eenvoudig zelf een complete Azure data platform omgeving met een druk op de knop automatisch kan uitrollen.

2. Kritisch blijven

Maak geen meerjarenplan voor een data platform. Het is haast onmogelijk om wanneer je start met een project te voorspellen wat de ontwikkelingen en uitdagingen in de komende jaren zijn. Doe je dat wel, dan word je vrijwel zeker ingehaald door de werkelijkheid. Met als grootste risico dat je iets oplevert waar de business geen waarde meer van ervaart of dat je nieuwe ontwikkelingen misloopt. Toets continu of wat je bouwt waarde toevoegt voor de business en of de tools die je hebt gekozen nog steeds de juiste zijn.

Wendbaarheid als belangrijkste prioriteit

Een nieuwe kijk op het bouwen van een data platform is natuurlijk spannend. Maar volgens mij begint het vooral bij het besef dat wendbaarheid tegenwoordig de belangrijkste prioriteit moet zijn voor organisaties. Met een dynamisch en flexibel future-ready data platform bereik je dat vanzelfsprekend beter dan met een statisch future-proof platform. Start jij binnenkort met het bouwen van een (nieuw) data platform? Sta daar dan eens bij stil!

Meer over dit onderwerp