On-premise data warehouse migratie naar Azure services

Veel organisaties nemen de stap om ook hun on-premise data warehouse migratie naar Azure te maken. Dat is zeker ook wel begrijpelijk gezien de kansen die Azure services kan bieden. Los van ‘pay per use’ leveren cloud services enorme kansen om data volumes te verwerken en voorspellende technologie schaalbaar in te zetten. Denk hierbij aan use cases op vlak van recommendation, klant segmentatie en personalisatie.

Maar wat heeft dit nu te maken met onze innovation day en een ‘battle’?

Bedrijven die met data & analytics in Azure aan de slag willen, hebben veelal waardevolle data reeds opgeslagen in een on-premise data warehouse. Hoe mooi zou het zijn als je investeringen in je bestaande on-premise data warehouse slim of zelfs geautomatiseerd kan migreren naar Azure services?
Dat is nu exact de ‘battle’ waar de 2 teams samen om strijden, kortom: ‘maak in één dag een oplossing die een on-premise data warehouse migreert naar Azure services’

The Battle

In de voorbereiding, voor deze Innovation day cq. battle, hebben collega’s een on-premise data warehouse klaargezet obv SQLServer incl. een SSAS-model en SSRS-rapportage oplossing. Tevens heeft elk team een eigen Azure subscription gekregen voor zowel het bouwen van een geautomatiseerde oplossing als een omgeving om het data warehouse te migreren naar Azure services.
Uiteraard zijn er spelregels waarbij het bestaande data warehouse na migratie zoveel mogelijk gebaseerd is op ‘native’ Azure services. Oh ja, het liefst zoveel mogelijk kunnen automatiseren cq. hergebruiken als het kan.

2 teams, 2 oplossingen

Waar de jury op hoopte gebeurde en had elk team een eigen koers hoe de oplossing moet werken om het on-premise data warehouse (geautomatiseerd) te migreren naar Azure services.
De meesten kennen wellicht de ‘lift & shift’ methode die Microsoft standaard aanbiedt om on-premise data warehouses 1 op 1 te migreren naar Azure VM’s. Virtual Machines zijn weinig schaalbaar, dus niet wenselijk voor een toekomst vaste data architectuur obv Azure services.

Team A

Team A heeft gekozen voor Azure migration services om vervolgens de bestaande ETL (SSIS-packages) 1 op 1 geautomatiseerd te migreren naar Azure Data factory een bijbehorende data naar Azure SQL en tabular model via Analysis services. Tevens ook migratie van het SSAS model als SSRS rapportages naar Power BI, wat een mooie bonus is!
Al met al een efficiënte migratie van het on-premise data warehouse naar Azure services én rapportages in Power BI. De SSIS-packages in Azure Data factory blijven echter wel ‘SSIS-packages’ en geen ‘native’ ADF pipelines.

Team B

Team B heeft het anders aangepakt. Dit team heeft het referentie data platform architectuurmodel als uitgangspunt genomen. Dit referentie data platform model bevat een basis set van benodigde Azure services voor een toekomst vaste data platform oplossing.
Met een druk op de knop wordt in een Azure subscription een ‘leeg’ data platform architectuur uitgerold incl. Azure Data factory, Azure Data lake, Key vault, Databricks en Azure Synapse.
Fantastische oplossing die je in elke ‘greenfield’ situatie kan inzetten en modulair kan uitbreiden, kortom: toekomst vast en flexibel uitbreidbaar!
Vervolgens heeft het team o.a. Database migration assistant ingezet om de historische data vanuit het data warehouse automatisch te migreren naar Azure Synapse. Het automatisch migreren van SSIS-packages was lastiger, maar ETL obv SQL is geen probleem. Voor het ontsluiten van de brondata is dit omgezet naar native Azure Data factory wat eenvoudiger is te onderhouden Vs SSIS-packages.

​​

Belangrijkste learnings

Uiteraard liepen beide teams tegen de nodige technische obstakels aan en/of legacy code, vanuit het on-premise data warehouse, die niet eenvoudig was te migreren naar Azure Synapse.

Learnings zijn o.a.

• Azure AD is een must; Azure subscription moet gekoppeld zijn aan AD voor ADF / Synapse integratie. Bijbehorende rechten zijn niet essentieel maar maken veel makkelijker
• ADF werkt niet altijd even goed voor alle datatypes (sql.Geography bijvoorbeeld)
• Azure SQL niet 100% identiek aan ondersteuning tegenover on premise SQL. Aanpassingen zijn soms noodzakelijk
• SSAS is wel 1 op 1 over te zetten (tabular model, cubes worden niet ondersteund)
• Voor migratie SSRS rapporten naar Power BI is Power BI premium nodig
• Azure Synapse is niet compatible met verouderde of exotische SQL Server functies (Cursors, Sequences, harde PK / FK constraints)

Conclusie

Is een 100% geautomatiseerde ‘out-of-the-box’ oplossing voor on-premise DWH migratie naar Azure services mogelijk? Out of the question, maar we komen wel een heel eind! Een duidelijk assessment vooraf is nodig om te valideren hoeveel en vooral welke onderdelen zinvol zijn om te migreren naar de cloud.

De battle heeft naast veel lol en energie ook de benodigde basis opgeleverd voor enkele slimme oplossingen waarmee we klanten kunnen helpen om de stap naar de cloud efficiënter kunnen laten maken!

Interesse om een (volgende) stap te maken met data & analytics in de cloud?
Stuur mij graag een berichtje of bel om jouw case te bespreken.

Meer over dit onderwerp