Functiebeschrijving
Als Senior Data Engineer maak je deel uit van het data team dat verantwoordelijk is voor de implementatie van het gemeenschappelijk dataplatform bij een klant die een belangrijke speler is in de sociale zekerheid voor de domeinen werkloosheid, loopbaanonderbreking en tijdskrediet.
Je combineert een analytische aanpak met technische expertise om transformation pipelines te ontwerpen, te bouwen en te onderhouden. Je bent actief betrokken bij de ingestion fase van de data lifecycle —van allerlei source systemen naar het Data Platform, die gebruikt maakt van de medallion architecture — en het verwerken van de gegevens in de eerste twee zones van het lakehouse
.
Samen met de data analytics engineers binnen het team zorg je voor de orchestration opdat data accuraat, toegankelijk en afgestemd is op de noden van de organisati
e.
Je werkt op een pragmatische en Agile mani
er.
Je ta
ken?
• Ontwikkelen van gelaagde transformation logic met dbt, gericht op onderhoudbaarheid, prestaties en kosteneffici
ëntie
• Configureren van source-to-target mapping om ruwe data om te zetten in Data Vault-componenten (incl. hubs, links, satellites and PIT ta
bles)
• Automatisch genereren van Data Vault-structuren met Vault
Speed
• Opzetten van orchestration van data workflows met Dagster voor betrouwbare en tijdige lev
ering
• Uitvoeren van de nodige validatie testen om de kwaliteit en bruikbaarheid van datasets te garan
deren
• Trouble-shooten van issues en performance bottlenecks om de data pipelines te optimali
seren
• Samenwerken via Git en CI/CD pipelines voor versiebeheer en continue integr
**atie.
P**
* rofielJe behaalde een Masterdiploma of je kan een gelijkwaardig niveau aantonen door relevante erv
* aring.Je bent expert in SQL en dbt, en beschikt over diepgaande kennis van ETL/ELT-methodologieën en Data
* Vault.Je hebt bovendien ruime ervaring met het bouwen en beheren van data-pijplijnen in tools zoals Airbyte, Dagster, Databricks en P
* ython.Versiebeheer via Git en het werken binnen CI/CD-omgevingen zijn voor jou vertrouwd terrein, waardoor je gestructureerd en kwaliteitsgericht te werk
* gaat.Kennis van dimensioneel modelleren (Kimball) en VaultSpeed wordt gezien als een waardevolle plus, maar is niet strikt noodzak
* elijk.Daarnaast heb je een basiskennis van Power BI, waardoor je goed kunt samenwerken met BI-teams en rapportagebehoeften beg
* rijpt.Je kan autonoom efficiënt werken maar hebt tevens oog voor het werken in teamve
* rband.Je bent verantwoordelijk, flexibel en je hebt zin voor initiatief in een dynamische werkomg
* eving.Je communiceert vlot, weet ideeën uit te wisselen en hebt oog voor ov
* erleg.Je beheerst het Nederlands uitstekend, zowel gesproken als geschreven. Daarnaast heb je een passieve kennis van het Frans en een goede kennis van het E
ngels.