Sr. Data Engineer

Beschrijving

Je komt terecht in een omgeving waar sterk wordt ingezet op digitalisering en de verwerking van technische data uit een moderne vloot. De focus ligt op het bouwen van een robuust dataplatform dat deze data correct ontsluit, verwerkt en beschikbaar maakt voor verdere analyse en toepassingen.

Je werkt binnen een data team samen met een Data Scientist, Data Analyst en Product Owner en bent verantwoordelijk voor het bouwen en onderhouden van het Azure Data Platform, waarbij je ervoor zorgt dat data uit verschillende bronnen correct wordt geïntegreerd. Je ontwikkelt en optimaliseert ETL-pipelines in Python en zorgt voor een stabiele verwerking van data, zowel batch als realtime. Daarnaast zet je integraties op met verschillende databronnen zoals API's en IoT-systemen. Je bewaakt de datakwaliteit via monitoring en stemt af met externe partners en leveranciers. Je ondersteunt bestaande dataproducten zoals dashboards en rapportering en documenteert processen zodat de omgeving duurzaam en future-proof blijft.


Must-have

• Minstens 5 jaar ervaring als Data Engineer
• Sterke kennis van Python (of Java/Scala) voor data pipelines en ETL
• Ervaring met PySpark en CI/CD
• Ervaring met scripting (Python/Shell/Perl)
• Ervaring met databanken
• Nederlandstalig (C2 niveau)

Nice-to-have

• Ervaring met Azure (Batch, Functions, Event Hub)
• Ervaring met Airflow
• Ervaring met realtime en streaming data
• Ervaring met Git en Streamlit
• Ervaring met API-integraties en IoT data