Vacatures
Senior Data Engineer / Databricks Implementatiepartner
Over de baan Senior Data Engineer / Databricks Implementatiepartner
Voor Wetterskip Fryslân zoeken wij een Senior Data Engineer / Databricks Implementatiepartner. Je draagt bij aan veilig en toekomstbestendig waterbeheer en helpt mee aan een veilige en leefbare provincie, voor mens en natuur en voor huidige en volgende generaties.
Binnen Wetterskip Fryslân werk je aan de verdere ontwikkeling van een dataplatform met Databricks als centrale component. Je helpt een schaalbaar, toekomstbestendig platform realiseren dat analyses, besluitvorming en data science ondersteunt. De focus ligt op het inrichten van data pipelines, dataopslag, governance, security, beheerprocessen en ontwikkelstandaarden.
Je neemt als ervaren Senior Data Engineer en implementatiepartner een leidende rol in de realisatie van het platform. Je combineert technische expertise met praktijkervaring, geeft richting aan ontwerp- en implementatiekeuzes, bouwt zelf onderdelen en draagt je kennis over aan de organisatie.
Jouw verantwoordelijkheden
Binnen Wetterskip Fryslân werk je aan de verdere ontwikkeling van een dataplatform met Databricks als centrale component. Je helpt een schaalbaar, toekomstbestendig platform realiseren dat analyses, besluitvorming en data science ondersteunt. De focus ligt op het inrichten van data pipelines, dataopslag, governance, security, beheerprocessen en ontwikkelstandaarden.
Je neemt als ervaren Senior Data Engineer en implementatiepartner een leidende rol in de realisatie van het platform. Je combineert technische expertise met praktijkervaring, geeft richting aan ontwerp- en implementatiekeuzes, bouwt zelf onderdelen en draagt je kennis over aan de organisatie.
Jouw verantwoordelijkheden
- Je realiseert en richt het Databricks-platform in, inclusief workspaces, compute, opslag, toegangsbeheer en OTAP-omgevingen.
- Je adviseert vanuit je praktijkervaring over de inrichting van het platform en geeft richting aan technische keuzes, ontwikkelstandaarden en de implementatieaanpak.
- Je ontwerpt, bouwt en implementeert schaalbare data pipelines voor het ontsluiten, verwerken en beschikbaar stellen van data.
- Je richt een duurzame dataarchitectuur in Databricks in en implementeert deze, met onder meer Delta Lake, Unity Catalog en medallion-architecturen (Bronze, Silver en Gold).
- Je zet CI/CD-processen, versiebeheer en geautomatiseerde deployments op voor een beheersbaar en reproduceerbaar ontwikkelproces.
- Je implementeert voorzieningen voor data governance, datakwaliteit, metadata, data lineage en autorisatiebeheer.
- Je ondersteunt de inrichting van de Data Science- en Machine Learning-omgeving in Databricks, inclusief de benodigde ontwikkel-, beheer- en MLOps-processen.
- Je adviseert over en realiseert monitoring, logging, performance-optimalisatie en kostenbeheersing van het platform.
- Je werkt samen met architecten, beheerders, data engineers, analisten en data scientists om requirements en architectuurprincipes te vertalen naar werkende oplossingen.
- Je documenteert de inrichting, standaarden en werkwijzen en draagt actief kennis over, zodat medewerkers het platform zelfstandig kunnen beheren en doorontwikkelen.
Functie-eisen
- Je beschikt over een afgeronde relevante hbo- of wo-opleiding, bij voorkeur in de richting van Informatica, Data Engineering, Data Science, Artificial Intelligence of vergelijkbaar.
- Je hebt minimaal 5 jaar aantoonbare werkervaring als Senior Data Engineer, Lead Data Engineer of in een vergelijkbare rol binnen complexe data- en analyticsomgevingen.
- Je hebt aantoonbare ervaring met het implementeren en inrichten van Databricks-platformen, inclusief workspace-inrichting, compute, storage, Unity Catalog en Delta Lake.
- Je hebt aantoonbare ervaring met het ontwerpen, bouwen en beheren van datapipelines, inclusief data-ingestie, transformatie, orkestratie en datamodellering.
- Je hebt aantoonbare ervaring met CI/CD, versiebeheer en geautomatiseerde deployments binnen data- en analyticsplatformen.
- Je hebt aantoonbare ervaring met kennisoverdracht en het begeleiden van teams bij de implementatie en adoptie van een dataplatform.
Functie-wensen
- Je hebt aantoonbare ervaring met het realiseren van een end-to-end Databricks-platform, van bronontsluiting en data-ingestie tot dataproducten, dashboards en data-sciencetoepassingen.
- Je hebt aantoonbare ervaring met het opzetten van een Databricks-omgeving voor data science en machine learning, inclusief MLflow, modelbeheer, MLOps en samenwerking met data scientists.
- Je hebt aantoonbare ervaring met het definiëren van implementatierichtlijnen, standaarden en best practices voor data-engineeringteams en platformbeheer.
- Je hebt aantoonbare ervaring met data governance, security, toegangsbeheer en dataclassificatie binnen cloudgebaseerde dataplatformen.
- Je hebt aantoonbare ervaring met monitoring, logging, performance-optimalisatie en kostenbeheersing van Databricks-omgevingen.
- Je hebt aantoonbare ervaring met het begeleiden van organisaties bij de implementatie van dataplatformen. Je geeft vanuit jouw expertise richting aan technische keuzes en de inrichting van het platform.
Extra Informatie
- Aantal uur 16
- ZZP mogelijk? Nee
- Thuiswerken mogelijk? N.t.b.
- Startdatum 01-01-2027
- Opleidingsniveau HBO, WO