Incrementele Spark Pipeline voor CSV-verwerking
Handmatige dagelijkse CSV-exports vervangen door een volledig geautomatiseerde incrementele ingestion pipeline op Databricks.
S: Situatie
Wat was de context en de uitdaging?Een data team verwerkte dagelijks CSV-exports vanuit een ERP-systeem. Twee medewerkers waren elke ochtend twee tot drie uur kwijt aan het handmatig laden, controleren en doorsturen van bestanden via gedeelde netwerkmappen. Fouten werden laat ontdekt, soms pas na het publiceren van dagelijkse rapporten.
De CSV-bestanden hadden geen consistente encoding, kolommen verschoven bij updates van het bronsysteem en er was geen audittrail van wat wanneer verwerkt was.
T: Taak
Wat was de specifieke verantwoordelijkheid?Verantwoordelijk voor het volledig automatiseren van de ingestion keten, van binnenkomende CSV-bestanden tot bruikbare tabellen in de Gold-laag. Vereisten:
Incrementele verwerking: alleen nieuwe of gewijzigde records verwerken
Robuust tegen schema-wijzigingen in het bronsysteem
Audittrail: welk bestand, welke run, hoeveel records
Nul handmatige handelingen na oplevering
A: Actie
Wat is er precies gedaan?De pipeline is opgebouwd in drie lagen met PySpark op Databricks:
Bestanddetectie: Azure Data Factory controleert elk uur de ADLS-landingszone op nieuwe CSV-bestanden. Nieuwe bestanden triggeren een Databricks job via een ADF webhook.
Bronze ingestion: Bestanden worden ingeladen met
spark.read.csv(inferSchema=False). Alle kolommen als string om schema-fouten te voorkomen. Metadata-kolommen toegevoegd: bestandsnaam, inlaaddatum, batch-ID.Silver transformatie: Type casting, deduplicatie op primaire sleutel, en validatieregels (niet-null checks, domeinwaarden). Ongeldige records naar een quarantine-tabel met foutomschrijving. Delta MERGE voor upsert op basis van primaire sleutel en een watermark-timestamp.
Gold aggregaties: Dagelijkse en maandelijkse KPI-tabellen, geoptimaliseerd voor Power BI DirectQuery.
Monitoring: Bij elke run een logrecord weggeschreven naar een audit-tabel met batchstatus, recordaantallen en verwerkingstijd.
R: Resultaat
Wat was het meetbare resultaat?Handmatige verwerkingstijd teruggebracht van 2 tot 3 uur per dag naar nul
Data beschikbaar binnen 65 minuten na aanlevering van het bronbestand
Data accuracy van 99,7% gemeten via dagelijkse reconciliation met bronsysteem
Quarantine-tabel vangt gemiddeld 0,3% afwijkende records op, zichtbaar via een Power BI-signaleringsdashboard
Volledige audittrail beschikbaar voor compliance-rapportage
R: Reflectie
Wat is er geleerd?Schema drift is reeel. Het bronsysteem voegde twee keer een kolom toe zonder vooraankondiging. Door alles als string in te lezen in de Bronze laag en pas in Silver te casten, had dit geen impact op de pipeline. Dit is nu standaard aanpak.
Watermarks vereisen betrouwbare timestamps. De eerste versie gebruikte een bestandsdatum als watermark. Na een retroactieve correctie van het bronsysteem bleek dit onbetrouwbaar. Overgezet naar een incrementele sleutelkolom uit het ERP.
Quarantine is geen bijzaak. De eerste week signaleerde de quarantine-tabel een structureel probleem in het bronsysteem dat al maanden onopgemerkt was. Dit gaf direct waarde aan de business.
Bekijk de code op GitHub of download de bijbehorende documenten.