Open voor nieuwe kansen

FerryPixel

DataSecOps

Azure Apache Spark Delta Lake Python Databricks Entra ID

Over mij

Ik ben een Data Engineer met praktijkervaring in het ontwerpen, bouwen en beheren van schaalbare dataplatforms en ETL/ELT-pipelines op het Microsoft Azure-platform. Mijn focus ligt op het omzetten van ruwe, complexe databronnen naar betrouwbare, consumptieklare datasets voor bijvoorbeeld Power BI, web apps en custom API's etc.

Mijn technische stack bestaat uit:

  • Compute & Processing: Apache Spark op Azure Databricks, PySpark en Python voor geavanceerde datatransformaties.

  • Storage & Architecture: Delta Lake voor ACID-compliant dataopslag, Lakehouse-architectuur en Medallion Architecturen (Bronze / Silver / Gold).

  • Platform & Orchestration: Azure Data Factory, Azure Data Lake Storage Gen2 en cloud-infrastructure.

  • Governance & Security: Entra ID (voor identity- en toegangsbeheer), RBAC en Unity Catalog.

Wat ik doe

  • Architectuur & Ontwerp: Ontwerpen van schaalbare datalagen en het vertalen van functionele behoeften naar robuuste technische oplossingen.

  • Pipelines & Ingestion: Bouwen van incrementele data-ingestion pipelines en het monitoren en troubleshooten van data processing jobs.

  • Data Quality & Governance: Implementeren van data quality checks, data lineage en toegangsbeheer (RBAC/Unity Catalog) zodat de data volledig te vertrouwen is.

  • Software Engineering Best Practices: Toepassen van versiebeheer, CI/CD, testing en gedegen documentatie.

Waarom dit portfolio?

Ik gebruik deze blog als logboek om mijn belevingen te documenteren, informatie te delen en achteraf terug te kijken op hoe projecten zijn verlopen. In dit portfolio vind je:

  • Uitgewerkte case studies volgens de STARR-methode.

  • Praktische leermomenten en oplossingen vanuit echte Azure- en Databricks-trajecten.

  • Technische checklists die ik in de praktijk heb ontwikkeld voor onder andere pipeline-monitoring en security.

Case Studies

Uitgewerkt via de STARR-methode: niet alleen wat er gebouwd is, maar ook hoe er gedacht is.

Azure Data Platform Migratie

On-premise SQL Server warehouse migreren naar een Azure Medallion Architecture met Databricks en Delta Lake.

Incrementele Spark Pipeline voor CSV-verwerking

Handmatige dagelijkse CSV-exports vervangen door een volledig geautomatiseerde incrementele ingestion pipeline op Databricks.

Azure Leermomenten

Reele uitdagingen bij het werken met Entra ID, kostenbeheer en Azure-omgevingen.

Service Principal: minimale rechten voor ADLS Gen2 toegang

Bij het koppelen van Databricks aan Azure Data Lake Storage Gen2 via een Service Principal is het verleidelijk om brede rechten toe te kennen om snel te werken. Dit leidt echter tot beveiligingsrisicos en auditproblemen.

Wat werkt

  • Wijs Storage Blob Data Contributor toe op het specifieke storage account of container, niet op resourcegroep-niveau.
  • Gebruik Storage Blob Data Reader voor pipelines die alleen lezen.
  • Vermijd Storage Blob Data Owner tenzij de Service Principal zelf ACLs moet beheren.

Veelgemaakte fout

De rol Contributor (zonder "Blob Data") geeft beheerrechten op de storage-resource maar geen toegang tot de data. Dit zorgt voor verwarrende "403 Forbidden" fouten terwijl de rol wel zichtbaar is in de IAM-overzichten.

Stappen

  1. Maak een App Registration aan in Entra ID en genereer een client secret.
  2. Ga naar het storage account → Access Control (IAM) → Add Role Assignment.
  3. Kies Storage Blob Data Contributor, wijs toe aan de Service Principal.
  4. Sla de client ID, tenant ID en secret op in Azure Key Vault.
  5. Koppel Key Vault aan Databricks via een secret scope.
Onverwachte kosten door Databricks clusters die blijven draaien

Databricks rekent per DBU (Databricks Unit) per uur. Clusters die niet automatisch stoppen na inactiviteit kunnen binnen een weekend voor honderden euros aan onverwachte kosten zorgen.

Oplossingen

  • Auto-termination: Stel op elk interactief cluster een auto-termination in van maximaal 30 minuten. Dit is de snelste en meest effectieve maatregel.
  • Cluster Policies: Gebruik Cluster Policies om standaardwaarden en maximumlimieten af te dwingen voor alle gebruikers in de workspace. Individuele gebruikers kunnen auto-termination dan niet uitschakelen.
  • Job Clusters: Gebruik voor geautomatiseerde pipelines altijd Job Clusters in plaats van interactieve clusters. Job Clusters starten bij het begin van een job en stoppen automatisch na afloop.

Monitoring

Stel een Azure Cost Management budget alert in op de resourcegroep met Databricks. Bij 80% en 100% van het maandbudget ontvangt de beheerder een e-mailmelding. Dit vangt situaties op voordat ze escaleren.

Delta Lake schema evolution: mergeSchema vs overwriteSchema

Delta Lake biedt twee opties voor het omgaan met schemawijzigingen bij het wegschrijven van data. De keuze bepaalt of bestaande data behouden blijft.

mergeSchema

Voegt nieuwe kolommen toe aan het bestaande schema. Bestaande data en kolommen blijven intact. Bestaande records krijgen null voor de nieuwe kolommen.

df.write.format("delta") \
    .option("mergeSchema", "true") \
    .mode("append") \
    .save(path)

Gebruik voor: Bronsystemen die af en toe een kolom toevoegen zonder historische data te vervangen.

overwriteSchema

Vervangt het volledige schema en alle bestaande data. Gebruik dit alleen bewust.

df.write.format("delta") \
    .option("overwriteSchema", "true") \
    .mode("overwrite") \
    .save(path)

Gebruik voor: Volledige herlading van een tabel waarbij de structuur fundamenteel wijzigt.

Schema evolution in MERGE

Bij Delta MERGE operaties is schema evolution standaard uitgeschakeld. Activeer dit met:

spark.conf.set("spark.databricks.delta.schema.autoMerge.enabled", "true")

Spark Ingestion Checklists

Checklists voor het bouwen van Incremental Data Processing pipelines, van Bronze via Silver naar Gold.

Bronze Layer: Raw Data Ingestion checklist

De Bronze laag bevat ruwe data exact zoals aangeleverd, zonder transformaties. Het doel is een betrouwbare en auditeerbare kopie van de bron.

Voor het inladen

  • Is het bronformaat bekend? (CSV, Parquet, JSON, JDBC)
  • Is er een watermark-kolom beschikbaar voor incrementele runs? (bijv. updated_at, created_at)
  • Is de encoding van tekstbestanden gedocumenteerd? (UTF-8, Latin-1)
  • Is de landingszone op ADLS ingericht met de juiste mapstructuur? (/bronze/<bron>/<jaar>/<maand>/)

Tijdens het inladen

  • Lees alle kolommen als StringType — geen schema inference in Bronze
  • Voeg metadata-kolommen toe: _ingest_timestamp, _source_file, _batch_id
  • Schrijf weg als Delta tabel met mode("append")
  • Sla de watermark-waarde op na elke succesvolle run

Na het inladen

  • Controleer het aantal ingeladen records tegen de bron
  • Schrijf een auditrecord weg met status, recordaantal en tijdstip
  • Trigger de Silver-pipeline alleen bij succesvolle Bronze-afronding
Silver Layer: Cleaning en validatie checklist

De Silver laag transformeert ruwe Bronze-data naar schone, getypeerde en gevalideerde records. Ongeldige records gaan naar een quarantine-tabel, niet naar de prullenbak.

Type casting

  • Cast alle kolommen naar het juiste type (IntegerType, DateType, DecimalType)
  • Behandel lege strings expliciet: zijn dit null-waarden of lege strings?
  • Datumformaten valideren voor casting — gebruik to_date(col, "dd-MM-yyyy") met het expliciete formaat

Deduplicatie

  • Definieer de primaire sleutel voor deduplicatie
  • Gebruik dropDuplicates(["primaire_sleutel"]) of een window-functie met row_number() als je de meest recente versie wilt bewaren

Validatie

  • Niet-null checks op verplichte kolommen
  • Domeinwaarden valideren (bijv. status mag alleen "actief" of "inactief" zijn)
  • Referentiele integriteit controleren waar van toepassing
  • Ongeldige records wegschrijven naar /quarantine/<tabelnaam>/ met een _error_reason kolom

Wegschrijven

  • Gebruik Delta MERGE voor upsert op basis van primaire sleutel
  • Activeer mergeSchema als het bronsysteem soms kolommen toevoegt
  • Partitioneer op datum als tabel groot wordt (>10 GB)
Gold Layer: Business aggregaties checklist

De Gold laag bevat kant-en-klare tabellen voor rapportage en analyse. Performance en leesbaarheid voor eindgebruikers staan centraal.

Voorbereiding

  • KPI-definities schriftelijk vastgelegd en afgestemd met de business
  • Korreligheid bepaald: op dag-, week- of maandniveau?
  • Welke dimensies zijn nodig? (product, regio, klant, tijd)

Aggregaties bouwen

  • Bouw op basis van Silver-tabellen, nooit direct op Bronze
  • Gebruik zinvolle kolomnamen die eindgebruikers begrijpen
  • Voeg een last_updated timestamp toe zodat gebruikers weten hoe vers de data is
  • Test aggregaties handmatig met bekende referentiewaarden

Performance

  • Voer OPTIMIZE uit na grote schrijfoperaties om kleine Delta-bestanden samen te voegen
  • Gebruik ZORDER BY op de kolommen waarop het vaakst gefilterd wordt
  • Overweeg VACUUM om verouderde versies op te ruimen (standaard retentie: 7 dagen)

Oplevering

  • Power BI rapport getest met productiedata
  • Eindgebruikers akkoord op KPI-uitkomsten
  • Refresh-schema ingesteld en gecommuniceerd
  • Documentatie bijgewerkt in het dataportaal

Downloads

Troubleshoot-documenten, README's en checklists, direct te downloaden.

Binnenkort beschikbaar.