Ga je voor Snowflake of Microsoft Azure Synapse? Steeds meer organisaties lijken deze overweging te maken. Bij Riviq werken we met beide cloud data platforms. Data engineer Tijmen van Willigen vergelijkt de platforms met elkaar, zodat jij de juiste keuze voor jouw organisatie kan maken.

Een data platform is het fundament voor al het data gedreven werken dat je in de toekomst gaat doen. Daarom is het belangrijk om het juiste platform te kiezen. En met ‘juist’ bedoel ik het platform dat het beste bij jouw organisatie past. Misschien wel de meest populaire platforms van het moment zijn Snowflake en Azure Synapse. Dat zal je vast niet zijn ontgaan. Maar welke van de twee kies je dan? Nou, dat vroegen wij ons ook af. Daarom heb ik samen met mijn collega’s een vergelijking gemaakt. We hebben Snowflake en Azure Synapse (met een dedicated pool) onderworpen aan een performancetest. Daarnaast hebben we online research gedaan. Ik neem je mee in onze bevindingen.

Deel 1 – De test

Grof gezegd, hebben we beide platforms onderworpen aan een data loading- en data consuming test. We hebben zowel Snowflake als Azure Synapse dezelfde dataset ‘gevoerd’. Vervolgens hebben we gekeken hoe lang de platforms erover deden om de data in te laden (data loading). Daarna hebben we beide platforms een groot aantal complexe queries uit laten voeren (data consuming).

Schematisch zag de test er zo uit:

Het inladen van de data ging bij Azure Synapse (veel) sneller dan bij Snowflake. Daarbij is het belangrijk om te vermelden dat we de dataset vanuit Microsoft Azure inlaadden. Dus misschien had Synapse daarmee een beetje voordeel. Het uitvoeren van de queries deed Snowflake dan weer sneller dan Azure Synapse. Kortom, de platforms gingen gelijk op na de performance test.

Deel 2 – Online research

Naast de performance hebben we op basis van online onderzoek de twee data platforms op enkele cruciale punten met elkaar proberen te vergelijken. Daar is de volgende vergelijking uitgekomen:

De cijfers achter ieder punt corresponderen met de bronnen die we hebben geraadpleegd. Dat overzicht vind je onderaan dit blog.

Deel 3 – Deep dive

Laten we wat dieper in de materie duiken. Uiteraard hebben beide data platforms voor- en nadelen. Als je puur naar de kosten per minuut kijkt, dan is Snowflake duurder. Maar het platform denkt wel efficiënt met je mee, bijvoorbeeld door automatisch data te comprimeren en micro partities te maken. Al die slimmigheden zijn bovendien out-of-the-box beschikbaar. Dat betekent ook dat je performance direct goed is.

Bij Synapse moet je iets meer sleutelen aan de performance. Dit platform vereist dus meer kennis om ermee aan de slag te gaan. Tegelijkertijd betekent dat ook dat je met Synapse meer mogelijkheden hebt om performance en andere zaken precies zo in te stellen zoals jij wenst. En gebruik je andere Microsoft-datatools? Dan loopt Synapse als een zonnetje.

Wat als je verschillende syntax dialecten gebruikt? Snowflake is wat dat betreft iets vergevingsgezinder dan Azure Synapse. Bij Synapse moet je syntax helemaal kloppend zijn, Snowflake begrijpt beter ‘wat je ongeveer bedoelt’. Een ander groot verschil zit in de workloads. Azure Synapse is sterk wanneer de workload constant is, omdat het gebruikmaakt van een dedicated pool die aan- of uitstaat. Dat is handig als je een grote organisatie hebt waarin gebruikers vrijwel continu een beroep doen op je data. Daar staat tegenover dat je met Snowflake makkelijk je rekenkracht kunt op- en afschalen. Dat scheelt kosten als je gedurende een bepaalde periode wat minder (of juist meer) rekenkracht nodig hebt.

Snowflake vs Azure Synapse: de conclusie

Welk data platform kun je nou het beste kiezen? Dát is natuurlijk de grote vraag van dit blog. En zoals je wellicht al door hebt, bestaat daar geen eenduidig antwoord op. Beide data platforms zijn immers het neusje van de zalm. Dus de juiste keuze hangt onder andere af van de grootte van je organisatie, de kennis die je in huis hebt, maar ook van de rest van je IT-landschap.

Snowflake is een platform met allerlei ingebouwde slimmigheden en is out of the box klaar voor gebruik. Azure Synapse geeft je meer mogelijkheden om functionaliteiten nauwkeurig af te stemmen op jouw organisatie, mits je daarvoor de kennis in huis hebt. Dat gezegd hebbende, er is één duidelijk verschil dat wellicht de doorslag kan geven: gebruik je andere dataoplossingen van Microsoft? Dan is Azure Synapse toch wel de meest logische keuze.

Wil je meer weten over de tests die we hebben gedaan? Stuur me dan gerust een mail via tijmen.vanwillegen@riviq.nl.

[1] https://www.bluegranite.com/blog/synapse-vs-snowflake-the-data-warehouse-debate
[2] https://www.snowflake.com/pricing/
[3] https://www.projectpro.io/article/azure-synapse-vs-snowflake/700
[4] https://learn.microsoft.com/en-us/azure/active-directory/saas-apps/snowflake-tutorial
[5] https://medium.com/codex/snowflake-vs-azure-synapse-analytics-battle-of-cloud-data-warehouses-576f407189f9
[6] https://proskale.com/snowflake-vs-azure-synapse-comparison/
[7] https://hightouch.com/blog/azure-synapse-vs-snowflake-the-definitive-guide
[8] https://medium.com/betacom/dedicated-sql-pools-in-azure-synapse-analytics-1daa66608b3b

Meer over dit onderwerp