Data engineer (Freelance, NL/FR)

Omschrijving
Een eerste taak bestaat eruit om een API op te zetten tussen een Postgres DB en een Python-applicatie. Daarna zal je onder andere verantwoordelijk zijn voor het ontwikkelen en optimaliseren van ELTs: Hierbij wordt data uit grote brondatabases naar een Postgres DB gebracht waarin de nodige transformaties worden uitgevoerd (mbhv dbt).

Het hele project wordt ontwikkeld met behulp van Agile-methoden en is volledig on-premise. We vragen een aanwezigheid van 2 dagen per week op kantoor, in Brussel, goed bereikbaar met het openbaar vervoer.

Profiel

DGJ zoekt een gedreven en detailgerichte Data Engineer met een passie voor het ontwerpen, ontwikkelen en onderhouden van robuuste on-premise ETL-processen en datawarehouses. Beschikt over uitgebreide ervaring met SQL databases en bij voorkeur ook NoSQL databases, en een bewezen staat van dienst in het optimaliseren van data-infrastructuren om besluitvormingsprocessen te ondersteunen.

Kerncompetenties:

• On-premise development : Expertise in het bouwen en onderhouden van data engineering componenten in een on-premise infrastructuur.
• ETL Ontwikkeling en Beheer: Expertise in het bouwen en onderhouden van geavanceerde ETL-processen om gegevens uit verschillende bronnen efficiënt te extraheren, transformeren en laden.
• Datawarehousing: Diepgaande kennis van datawarehousing concepten en technieken, met ervaring in het ontwerpen van schaalbare en betrouwbare data-opslagoplossingen. Kennis van dbt.
• Database Beheer (SQL & NoSQL): Vaardigheid in het werken met zowel relationele (SQL) als niet-relationele (NoSQL) databases, inclusief maar niet beperkt tot MySQL, PostgreSQL, Neo4j, Elastic DB, MongoDB, Milvus.
• API Integratie: Ervaring met het ontwikkelen en integreren van API's.
• Data Modellering: Ervaring in het ontwerpen en implementeren van datamodellen die de prestaties verbeteren en complexe queries vereenvoudigen.
• Gegevenskwaliteit en Integriteit: Sterke focus op het waarborgen van de nauwkeurigheid, volledigheid en betrouwbaarheid van gegevens.
• Programmeervaardigheden: Beheersing van programmeertalen zoals Python voor procesautomatisering en data-analyse.
• Probleemoplossend Vermogen: Uitstekende analytische vaardigheden om complexe technische uitdagingen op te lossen en data-driven oplossingen te leveren.

Jouw profiel

Opleiding:

• Minimum een bachelor in Informatica / Data Science / Bedrijfsinformatica of gelijkwaardig.
• Aantoonbare ervaring op het vlak van data engineering, datawarehousing en databasebeheer.

Technische Vaardigheden:

Databases: MySQL, PostgreSQL, Neo4j, Elastic DB, MongoDB, Milvus

ETL Tools: dbt, airflow

Data: Python, SQL

API Development: REST, SOAP, GraphQL

Cloud Platforms: Azure, AWS

BI Tools: Power BI

Talen:

Talenkennis: Engels + beheerst één, of bij voorkeur, beide landstalen (NL/FR). Als niet beheerst, passieve begrip van de andere taal is nodig.

Soft Skills:

• Sterke communicatievaardigheden
• Teamgericht en collaboratief
• Innovatief denken
• Oog voor detail
• Proactieve werkhouding