Cloud data platformen als c ontwikkelen zich in hoog tempo. Nieuwe mogelijkheden op het gebied van AI, realtime dataverwerking, governance en serverless computing bieden organisaties veel kansen, maar vragen ook om doordachte architectuurkeuzes.

Tijdens een recente competence sessie heeft Riviq de nieuwste ontwikkelingen vertaald naar de eigen referentiearchitectuur. In deze blog lees je welke technologische trends momenteel het belangrijkst zijn, hoe deze de Riviq referentiearchitectuur beïnvloeden en waarom een gestandaardiseerde architectuur de basis vormt voor een toekomstbestendig data- en AI-platform.

Technologie staat nooit stil. Dat geldt zeker voor moderne data platformen. Zowel Databricks als Microsoft Fabric ontwikkelen zich in hoog tempo en introduceren voortdurend nieuwe mogelijkheden op het gebied van data engineering, governance, realtime verwerking en AI.

Voor organisaties levert dat kansen op, maar ook een uitdaging. Hoe voorkom je dat iedere nieuwe functionaliteit leidt tot een andere architectuur? En hoe zorg je ervoor dat een data platform over enkele jaren nog steeds beheersbaar, schaalbaar en toekomstbestendig is?

Tijdens een recente competencesessie stond daarom één onderwerp centraal: de doorontwikkeling van de Riviq referentiearchitectuur.

Een referentiearchitectuur is nooit af

Een goede referentiearchitectuur is geen statisch document. Nieuwe platformmogelijkheden, veranderende klantvragen en technologische innovaties vragen om voortdurende evaluatie en aanscherping.

Binnen Riviq gebruiken we onze referentiearchitectuur als fundament voor moderne data platformen. We helpen organisaties hiermee om bewezen architectuurprincipes, best practices en standaarden te volgen, zonder ze in een vast stramien te dwingen.

Dat voorkomt onnodig maatwerk, versnelt implementaties en zorgt ervoor dat oplossingen eenvoudiger te beheren, uit te breiden en over te dragen zijn.

De medallion-architectuur blijft het fundament

Ondanks alle technologische ontwikkelingen blijft één principe overeind: een noodzaak voor duidelijke scheiding tussen de verschillende lagen van een data platform.

Daarom vormt de medallion-architectuur nog altijd de basis van de Riviq referentiearchitectuur:

• Raw voor de originele brondata.
• Brons voor de eerste standaardisatie en kwaliteitscontroles.
• Zilver voor geïntegreerde en gevalideerde datasets.
• Goud voor informatie die direct gebruikt wordt voor dashboards, rapportages en AI-toepassingen.

Deze gelaagde aanpak zorgt ervoor dat data gecontroleerd door de organisatie stroomt, businesslogica slechts één keer wordt vastgelegd en datasets herbruikbaar zijn voor uiteenlopende toepassingen. Daarnaast helpt de standaardisatie onze consultants om uitwisselbaar op klantprojecten te werken en elkaars keuzes te valideren en beter te maken.

Bron: databricks

Belangrijkste ontwikkelingen binnen Databricks en Microsoft Fabric

De ontwikkelingen binnen Databricks en Microsoft Fabric gaan razendsnel. Tijdens de recente competence sessie heeft onze collega Job Ammerlaan de belangrijkste innovaties besproken en bekeken welke impact deze hebben op de verdere ontwikkeling van de Riviq referentiearchitectuur.

Serverless en realtime data worden de nieuwe standaard

Databricks investeert volop in serverless technologie. Hierdoor hoeven ontwikkelaars niet langer te wachten op het opstarten van clusters en kunnen workloads vrijwel direct worden uitgevoerd. Dat verhoogt de productiviteit en verkort de doorlooptijd van data pipelines.

Daarnaast heeft Databricks met Declarative Lakeflows een manier voor het ontwikkelen van data pipelines. Door pipelines declaratief te beschrijven neemt het platform een groot deel van de verwerking, orchestration en updates automatisch over. Vooral voor streaming en (near-) realtime dataverwerking biedt dit interessante mogelijkheden.

Het kostenaspect nemen we hier ook in mee. Nieuwe functionaliteiten kunnen soms consumptie-intensief zijn, lees hogere kosten met zich meebrengen.

AI wordt steeds meer onderdeel van het data platform

AI verschuift steeds verder van losse experimenten naar geïntegreerde platformfunctionaliteit.

Databricks loopt hierin voorop met innovaties zoals AI-Agents, Agent Bricks en AI-BI Genie. Hiermee kunnen gebruikers in natuurlijke taal vragen stellen over hun eigen data en sneller analyses uitvoeren.

Hoewel deze mogelijkheden indrukwekkend zijn, vragen ze ook om duidelijke kaders voor governance, privacy, security en verantwoord gebruik van AI. Bovendien brengen geavanceerde AI-functionaliteiten vaak extra kosten met zich mee. Daarom kijken we binnen de Riviq referentiearchitectuur niet alleen naar wat technisch mogelijk is, maar vooral naar wat daadwerkelijk waarde toevoegt voor de organisatie.

Microsoft Fabric ontwikkelt zich in hoog tempo

Microsoft Fabric ontwikkelt zich razendsnel en wordt steeds completer. Vooral organisaties die al gebruikmaken van Microsoft 365, Azure en Power BI profiteren van de sterke integratie en de relatief lage instapdrempel.

Tegelijkertijd zien we dat het platform nog volop in ontwikkeling is. Voor dezelfde vraag bestaan vaak meerdere technische oplossingen, bijvoorbeeld voor de inrichting van workspaces, pipelines, shortcuts. Dat biedt flexibiliteit, maar maakt het ook belangrijk om duidelijke architectuurkeuzes te maken.

Omdat de functionaliteiten en mogelijkheden binnen Microsoft Fabric nog volop in beweging zijn, evalueren we deze keuzes doorlopend en verwerken we nieuwe inzichten met terugwerkende kracht bij onze klanten.

Verdere standaardisatie van de medallion-architectuur

Hoewel de basis van de medallion-architectuur onveranderd blijft, werken we continu aan verdere standaardisatie.

Tijdens de competence sessie is uitgebreid stilgestaan bij richtlijnen voor datamodellering, normalisatie, businesslogica en andere conventies. Ook is gekeken naar situaties waarin aanvullende lagen of specifieke architectuurpatronen wenselijk zijn, zonder de eenvoud van de standaardarchitectuur uit het oog te verliezen.

Deze standaardisatie zorgt ervoor dat projecten consistenter worden uitgevoerd, kennis eenvoudiger overdraagbaar is en oplossingen beter onderhoudbaar blijven. Natuurlijk vertaalt dit zich weer naar een snellere time-to-market van onze projecten.

Governance en security krijgen een steeds belangrijkere rol

Cloudaanbieders proberen met hun data platformen steeds meer een one-stop-shop te worden voor alle zaken rondom data. Hiermee versimpelt het landschap, maar wordt ook de noodzaak voor governance en security binnen het platform groter.

Databricks beschikt met Unity Catalog over een volwassen oplossing voor centraal beheer van metadata, toegangsrechten en beveiliging. Microsoft Fabric ontwikkelt zich ook snel op dit gebied, maar kent op dit moment nog beperkingen wanneer organisaties volledige code-based configuratie en geautomatiseerde beveiliging willen toepassen.

Binnen de Riviq referentiearchitectuur vormt governance een integraal onderdeel met het ontwerp, wat past bij de wensen en ambities van de organisatie.

Technologie én kosten bepalen de architectuur

Nieuwe functionaliteiten maken veel mogelijk, maar zijn niet altijd de meest kostenefficiënte keuze.

Serverless computing, realtime data pipelines en AI-functionaliteit leveren veel voordelen op. Ze brengen echter ook hogere operationele kosten met zich mee. Daarom zien we in de praktijk dat organisaties regelmatig bewust kiezen voor alternatieve implementaties die beter aansluiten bij hun gebruik, gewenste prestaties en budget.

Binnen de Riviq referentiearchitectuur worden technologische mogelijkheden daarom altijd afgewogen tegen beheerbaarheid, schaalbaarheid en de totale eigendomskosten (TCO). Een toekomstbestendig data platform draait immers niet alleen om de nieuwste technologie, maar vooral om het maken van de keuzes die passen bij de organisatie.

De Riviq referentiearchitectuur blijft zich ontwikkelen

Het snel veranderende landschap maakt het voor Riviq essentieel om kennis continu te delen en architectuurkeuzes regelmatig opnieuw tegen het licht te houden.

Tijdens onze competence sessies brengen we praktijkervaringen van data engineers, data architecten en consultants samen. De inzichten uit klantprojecten combineren we met de nieuwste ontwikkelingen van beide platformen. Op basis daarvan scherpen we onze referentiearchitectuur voortdurend aan.

Zo blijft deze niet alleen aansluiten op de nieuwste technologische mogelijkheden, maar vooral op wat organisaties nodig hebben om een toekomstbestendig data & AI-platform te bouwen.

Of een organisatie uiteindelijk kiest voor Databricks, Microsoft Fabric of een ander cloud data platform: een solide architectuur, duidelijke standaarden en een sterke governance vormen altijd de basis voor duurzaam succes.

Veelgestelde vragen

Meer over dit onderwerp