Azure Data Engineer - Inglês

A Capco é uma consultoria global de tecnologia e negócios, focada no setor de serviços financeiros e energia, somos apaixonados por ajudar nossos clientes, temos 40 escritórios nas Américas, Europa e Ásia-Pacífico! Se criatividade e inovação são sua paixão, a Capco é ideal para você. Vamos te apoiar e ajudar a acelerar sua carreira!

Estamos buscando um(a) Engenheiro(a) de Dados Azure necessário(a) para construir pipelines de dados confiáveis e escaláveis que realizem ingestão, transformação e carregamento de dados corporativos em um Banco de Dados de Grafos RDF. Este(a) profissional terá foco em integração de dados nativa do Azure (por exemplo, Azure Data Factory) e streaming/mensageria (por exemplo, Kafka) para suportar conjuntos de dados de alta qualidade, prontos para grafos, para um MVP e futura expansão corporativa.

Responsabilidades:

•
Projetar e construir pipelines batch e de streaming no Azure para ingerir dados de arquivos, APIs, bancos de dados e fluxos de eventos.

•
Desenvolver e operar pipelines no Azure Data Factory (ADF), incluindo agendamento, parametrização, tratamento de erros e monitoramento.

•
Implementar padrões de ingestão/processamento de streaming baseados em Kafka (tópicos, consumidores/produtores, evolução de schema) para suportar feeds quase em tempo real, quando necessário.

•
Realizar transformações e modelagem de dados para produzir saídas compatíveis com RDF (por exemplo, entradas para mapeamento de entidades/relacionamentos), garantindo consistência, rastreabilidade (lineage) e reprodutibilidade.

•
Trabalhar em parceria com modeladores de ontologias/grafos para alinhar as saídas dos pipelines aos esquemas de grafos, identificadores e abordagens de resolução de vínculos.

•
Estabelecer verificações de qualidade de dados (completude, validade, duplicidade), logs e runbooks operacionais.

•
Apoiar práticas de DevOps: CI/CD para artefatos de pipelines, promoção entre ambientes e dashboards/alertas operacionais.

•
Contribuir para a documentação técnica: mapeamentos origem-destino, especificações de pipelines e notas de implantação.

Requisitos:

•
Mais de 3 anos construindo pipelines de dados em produção no Azure, com forte experiência prática em ADF.

•
Experiência com Kafka (ou tecnologia equivalente de streaming/mensageria) em implementações reais.

•
Forte conhecimento em SQL e pelo menos uma linguagem de programação (preferencialmente Python).

•
Sólido entendimento de ETL/ELT, conceitos de modelagem de dados e suporte operacional de pipelines (monitoramento, reprocessamentos, SLAs).

• Inglês avançado/fluente

Desejaveis:

•
Familiaridade com conceitos de RDF/Knowledge Graph (triplas, IRIs, formatos de serialização como Turtle/JSON-LD, SPARQL).

•
Experiência com integração a bancos de dados de grafos (por exemplo, Stardog, GraphDB, Neptune) ou camadas semânticas.

•
Experiência com serviços Azure comumente utilizados em pipelines (por exemplo, ADLS Gen2, Key Vault, Functions, Fabric).

Certificações:

•
Microsoft Certified: Azure Data Engineer Associate (DP-203)

•
Microsoft Certified: Azure Fundamentals (AZ-900)

•
Microsoft Certified: Azure Developer Associate (AZ-204) (útil para Functions/integração)

•
Microsoft Certified: DevOps Engineer Expert (AZ-400) (CI/CD + operações de plataforma)

•
Confluent Certified Developer for Apache Kafka (CCDAK) ou certificação equivalente em Kafka

•
Qualquer treinamento/certificação em Web Semântica / Knowledge Graph (treinamentos de fornecedores como Stardog ou outras plataformas de grafos são um diferencial)

.

POR QUE CAPCO:

Na Capco promovemos uma cultura inclusiva. Valorizamos a diversidade em todas as suas expressões.
Pensamos, em conjunto, sempre em ações diversas de inclusão e de responsabilidade social através de comitês internos geridos pela nossa comunidade interna, como os grupo de Mulheres, Pessoas Com Deficiência, Pessoas Negras, LGBTQIAPN+, Parentalidade, Gerações, entre outros. Nossas oportunidades são trabalhadas para todos(as)!
#LifeAtCapco

PRÓXIMOS PASSOS:

• Se você está ansioso(a) para progredir sua carreira conosco, candidate-se e aguarde o contato de um de nossos recrutadores!