Azure Data Platform Migratie
On-premise SQL Server warehouse migreren naar een Azure Medallion Architecture met Databricks en Delta Lake.
S: Situatie
Wat was de context en de uitdaging?Een middelgrote organisatie werkte met een verouderd on-premise SQL Server datawarehouse dat aan het einde van zijn support lifecycle zat. Rapporten draaiden nachtelijk via SSIS-pakketten en duurden gemiddeld vier uur. Data was altijd een dag oud en de infrastructuur kon de groeiende datavolumes niet meer bijhouden.
Het data team bestond uit twee analisten die handmatig queries uitvoerden. Er was geen versiebeheersysteem voor SQL-scripts en geen monitoring op pipeline-fouten. Mislukte nachtelijke runs werden de volgende ochtend pas ontdekt.
T: Taak
Wat was de specifieke verantwoordelijkheid?Als Data Engineer verantwoordelijk voor het ontwerpen en implementeren van de volledige migratiestrategie naar Azure. De opdracht omvatte:
Inventariseren van alle bestaande tabellen, ETL-processen en rapportagebehoeften
Ontwerpen van een toekomstbestendige cloudarchitectuur
Migreren van historische data zonder verlies van businesscontinuiteit
Inrichten van toegangsbeheer voor het bestaande team
Er was geen bestaande cloudkennis aanwezig in het team, wat betekende dat kennisoverdracht onderdeel was van de opdracht.
A: Actie
Wat is er precies gedaan?De aanpak was gefaseerd om het operationele risico te beperken:
Analyse: Alle SSIS-pakketten en stored procedures gedocumenteerd. Data lineage in kaart gebracht via metadata queries op sys.tables en sys.columns.
Architectuurontwerp: Gekozen voor een Medallion Architecture op Azure Data Lake Storage Gen2, met Databricks als compute-laag en Delta Lake als opslagformaat.
Bronze laag: Ruwe data uit SQL Server geladen via Azure Data Factory. Geen transformaties, alleen kopieer-operaties met watermark-kolommen voor incrementele runs.
Silver laag: PySpark notebooks voor cleaning, type casting, deduplicatie en validatie. Delta MERGE voor upsert-logica.
Gold laag: Business-specifieke aggregaties en KPI-tabellen, rechtstreeks bevraagbaar vanuit Power BI via Databricks SQL.
Toegang: Service Principals aangemaakt in Entra ID met Storage Blob Data Contributor-rechten op ADLS. Unity Catalog ingericht voor fine-grained toegangscontrole.
R: Resultaat
Wat was het meetbare resultaat?Na drie maanden was de volledige migratie afgerond en draaiden beide omgevingen parallel voor validatie:
Rapportage-laadtijd teruggebracht van 4 uur naar 8 minuten
Data versheid van T-1 naar near real-time (15-minuten intervallen)
Nul dataverlies bij migratie van 6 jaar historische data
Infrastructuurkosten 28% lager dan het vorige on-premise beheer
Pipeline monitoring via Databricks Job alerts en Azure Monitor
R: Reflectie
Wat is er geleerd?De migratie verliep grotendeels vlekkeloos, maar er waren leerzame momenten:
Entra ID rechten kostten onevenredig veel tijd. De juiste combinatie van RBAC-rollen op storage, Databricks workspace en Unity Catalog is niet triviaal. Dit heeft geleid tot een checklist die nu standaard wordt gebruikt bij nieuwe projecten.
Schema drift in de brondata werd onderschat. Twee tabellen hadden ongedocumenteerde kolomwijzigingen in de afgelopen jaren. Delta Lakes schema evolution opties (mergeSchema) boden hier uitkomst.
Vroeg betrekken van eindgebruikers bleek essentieel. De gold-laag moest na oplevering aangepast worden omdat KPI-definities subtiel verschilden van de oorspronkelijke specificaties.
Bekijk de code op GitHub of download de bijbehorende documenten.