Senior Data Platform Engineer

Nome da função: Senior Data Platform Engineer

Localização: Lisboa

Regime de trabalho: Lisboa

Vem fazer parte de um ecossistema dinâmico onde o futuro dos negócios é criado e vivido todos os dias. Faz parte desta transformação!

Na LUZA Group, a paixão, a perseverança e a vontade de superar limites definem o nosso caminho para o sucesso.

Fundada em 2006, somos uma multinacional portuguesa com mais de 1.200 profissionais talentosos e um volume de negócios que supera os 30M€. Com presença em mercados estratégicos como Portugal, Espanha, Marrocos, Brasil, México, Estados Unidos e China, oferecemos soluções inovadoras em engenharia, TI, design, consultoria, Indústria 4.0, formação e recrutamento. Tudo o que fazemos é movido pelo talento das nossas pessoas.

Este é um momento de crescimento e oportunidade. O futuro pertence a mentes visionárias. Vais juntar-te a nós?

Resumo / Visão geral:

Procuramos um Senior Data Platform Engineer com experiência em Databricks, engenharia e arquitetura de dados, capaz de conceber e desenvolver plataformas de dados escaláveis, seguras e governadas, promovendo a reutilização, a qualidade dos dados e boas práticas de engenharia.

Responsabilidades e Tarefas da Função

• Desenvolver e manter padrões modulares de ingestão de dados, suportando fontes em batch, através de APIs e orientadas a eventos (por exemplo, JDBC, conectores SaaS/ERP, Kafka e CDC).
• Criar frameworks de ingestão reutilizáveis, preferencialmente orientados por metadados, que permitam a integração rápida e consistente de novas fontes de dados.
• Desenvolver e otimizar pipelines de dados em Databricks (Spark, Delta Live Tables/Lakeflow), ao longo da arquitetura Medallion (Bronze, Silver e Gold).
• Implementar e evoluir mecanismos de governação de dados, incluindo controlos de acesso, linhagem, catalogação, auditoria, classificação de dados e conformidade com os requisitos de privacidade.
• Definir e garantir o cumprimento de padrões de qualidade de dados, contratos de dados, mecanismos de monitorização e alertas nas diferentes camadas de ingestão e transformação.
• Implementar soluções de proteção de dados e privacidade, incluindo mascaramento, tokenização, pseudonimização e outras técnicas adequadas de anonimização, de forma a cumprir os requisitos regulamentares, nomeadamente o RGPD.
• Desenvolver, gerir e evoluir produtos de dados alinhados com um modelo de dados canónico, garantindo a definição clara de responsabilidades, SLAs e documentação.
• Colaborar com as equipas de domínio na integração dos dados de origem no modelo canónico, preservando as especificidades de cada domínio.
• Promover uma abordagem de Data as a Product, assegurando a facilidade de descoberta dos dados, o acesso em regime de self-service, o controlo de versões e a definição de contratos de dados orientados para os consumidores.
• Desenvolver e manter camadas de disponibilização e consumo de dados, incluindo conjuntos de dados para BI e análise, APIs (REST/GraphQL) e extensões orientadas a casos de utilização específicos, como outputs de streaming ou representações em grafos de conhecimento (Knowledge Graphs).
• Definir e promover padrões técnicos e a evolução da plataforma nas áreas de CI/CD, Infraestrutura como Código (Infrastructure as Code), testes, observabilidade e otimização de custos.
• Acompanhar e orientar outros engenheiros, colaborando com as equipas de governação, segurança, arquitetura e com os diferentes interlocutores do negócio.

Requisitos Obrigatórios

• Cerca de 6 ou mais anos de experiência em Engenharia de Dados, dos quais pelo menos 2 anos na conceção e operação de plataformas Lakehouse baseadas em Databricks, em ambientes de produção e à escala empresarial.
• Experiência prática sólida com Apache Spark e Delta Lake. A experiência com Delta Live Tables/Lakeflow Declarative Pipelines será uma mais-valia.
• Experiência prática com Unity Catalog (ou ferramentas equivalentes) na gestão de controlos de acesso, linhagem e catalogação de dados.
• Experiência comprovada na implementação de técnicas de anonimização e pseudonimização de dados em ambientes sujeitos a regulamentação.
• Bons conhecimentos de modelação de dados canónica e conformada, nomeadamente Data Vault, modelação dimensional e aplicação dos princípios de Domain-Driven Design (DDD) aos dados.
• Experiência na disponibilização de dados através de APIs (REST/GraphQL), incluindo desenho de esquemas, contratos de dados e gestão de versões para consumidores internos e externos.
• Bons conhecimentos de Python e/ou Scala, SQL e Infraestrutura como Código (Infrastructure as Code), preferencialmente Terraform.
• Sólidos conhecimentos de frameworks de governação de dados, regulamentação de privacidade (RGPD/GDPR e CCPA) e práticas de segurança de dados.
• Experiência com plataformas cloud (Azure, AWS ou GCP) e respetivos serviços nativos de dados e processamento de eventos.

#VisionaryFuture - Build the future, join our living ecosystem! 🚀