Data Operation Engineer

Sobre a Welvaart

Diariamente, assumimos compromissos e apresentamos soluções aos nossos stakeholders de forma a criar uma estrutura de valores humanos, assente no profissionalismo, honestidade e rigor.

Com uma gestão baseada no Human Centered Design, cuidamos dos nossos profissionais com planos de carreira consistentes, mas flexíveis com as suas necessidades e expectativas de evolução. A nossa equipa de gestão garante uma liderança empática e presente que proporcionará um envolvimento e entrega tecnológica superior aos projectos e produtos dos nossos clientes.

Projeto
Integração numa equipa de Data Operations responsável por sustentar e evoluir o ecossistema de dados de uma instituição bancária de grande escala. O foco principal está nas plataformas de Data Lake, workloads analíticas e pipelines críticos em ambientes cloud on-prem e Azure (Databricks).
A equipa tem um papel central no processo de offloading de dados, modernização tecnológica e redução do consumo em mainframe, garantindo disponibilidade, qualidade e fiabilidade dos dados para vários stakeholders internos.

Função

• Suporte operacional (L2) às plataformas de dados, incluindo workloads em Databricks, Cloudera e pipelines geridos por Control-M.
• Monitorização e análise de falhas em jobs, identificação de incidentes recorrentes e aplicação de correções definitivas.
• Operação e sustentação dos ambientes de Kafka, Confluent, bases de dados e clusters de processamento relacionados com o pipeline de ingestão.
• Gestão do processo de offloading de dados, garantindo a replicação correta e consistente entre múltiplas origens (DB2, mainframe, Oracle, MongoDB).
• Análise de logs e troubleshooting avançado para compreender anomalias, padrões de falha e impactos potenciais nos serviços.
• Suporte ao programa de transformação para Databricks, garantindo que workloads são migradas, otimizadas e operacionais.
• Garantir que os dados estão disponíveis, íntegros e que não existem perturbações nos serviços de consumo a jusante.
• Participar no processo de transição tecnológica: retirar cargas do mainframe, migrar dados e suportar integrações híbridas (ex.: transações que ainda escrevem no mainframe mas lêem do Oracle).
• Trabalhar em estreita colaboração com a equipa de Offloading & Confluence para assegurar governança, rastreabilidade e estabilidade do fluxo de dados.
• Documentar procedimentos, melhorias e padrões operacionais.

Estamos à procura de

• Experiência sólida com Apache Kafka e/ou Confluent Platform.
• Conhecimentos de Data Lakes, arquiteturas distribuídas e workloads de dados de larga escala.
• Experiência com Databricks (Azure) e/ou Cloudera.
• Experiência prática em ambientes de DataOps e pipelines de ingestão.
• Familiaridade com DB2, Oracle, MongoDB e processos de replicação/offloading.
• Experiência em ferramentas de scheduling, preferencialmente Control-M.
• Conhecimentos de análise de logs, troubleshooting e suporte a aplicações/serviços de dados.
• Compreensão de plataformas on-prem e cloud híbrida.
• Valorizado: experiência com ecossistemas de mainframe ou migrações a partir de mainframe.

O que pode descobrir connosco?

• Fazer parte de uma start-up tecnológica em crescimento
• Diferentes âmbitos de projeto em diferentes sectores
• Estrutura de remuneração justa e equitativa (Consultant Profile)
• Formação e certificação
• Gestão do percurso profissional
• Mais de 30 parcerias
• Programa Welvaart Embassador

UNLEASH THE POWER OF YOUR CAREER