Engenharia de Dados Sênior (Kafka / AWS) | Híbrido/SP

O que buscamos:

Buscamos um(a) Engenheiro(a) de Dados Sênior com forte atuação em ambientes produtivos, responsável por projetar, construir e sustentar plataformas de dados escaláveis em AWS. Procuramos profissionais com sólida experiência em arquitetura orientada a eventos, processamento em tempo real com Kafka, Data Lake/Lakehouse, pipelines de dados e plataformas analíticas, combinando visão arquitetural com atuação hands-on na implementação, monitoramento e evolução de soluções de dados. As prioridades de triagem incluem Engenharia de Dados em produção, AWS para dados, Kafka avançado e Redshift.

Responsabilidades:

• Atuar na concepção, desenvolvimento e evolução de soluções de Engenharia de Dados em ambientes produtivos;
• Projetar e sustentar arquiteturas orientadas a eventos utilizando Kafka e serviços do ecossistema AWS;
• Desenvolver pipelines de ingestão, transformação e disponibilização de dados para consumo analítico e operacional;
• Implementar e manter processos de processamento distribuído utilizando Spark e formatos colunares como Parquet;
• Estruturar e evoluir ambientes Data Lake e Lakehouse em AWS;
• Desenvolver soluções em Python aplicadas à Engenharia de Dados;
• Construir e sustentar workflows de orquestração utilizando Apache Airflow;
• Implementar integrações com bancos de dados, APIs, sistemas corporativos e plataformas de streaming;
• Atuar no monitoramento, troubleshooting e sustentação de pipelines em produção;
• Realizar otimizações de desempenho, confiabilidade e custo das plataformas de dados;
• Garantir qualidade, rastreabilidade, governança e Observabilidade dos dados;
• Colaborar com times multidisciplinares na definição de padrões arquiteturais e boas práticas de desenvolvimento;
• Atuar como referência técnica para discussões de arquitetura, revisões de código e evolução de soluções.

Requisitos Obrigatórios:

• Experiência sólida em Engenharia de Dados com atuação em ambientes produtivos;
• Experiência prática com AWS aplicada a dados, incluindo S3, Lambda, EKS e serviços relacionados como Glue, Redshift e Athena;
• Experiência avançada com Apache Kafka, incluindo Producers, Consumers, estratégias de Retry, DLQ e arquitetura orientada a eventos;
• Experiência com Python aplicado à Engenharia de Dados;
• Vivência com Apache Spark, processamento distribuído e manipulação de arquivos Parquet;
• Experiência com Data Lake ou Lakehouse em ambientes AWS;
• Experiência com monitoramento, troubleshooting e sustentação de pipelines em produção;
• Conhecimento avançado de SQL, incluindo CTEs, Window Functions e otimização de consultas;
• Experiência com Apache Airflow em ambientes produtivos;
• Experiência com dbt ou ferramentas equivalentes de transformação de dados;
• Experiência com Git e práticas de CI/CD;
• Conhecimento em governança de dados, qualidade, rastreabilidade e Observabilidade.

Requisitos Diferenciais:

• Experiência com modelagem dimensional (Kimball);
• Vivência em ambientes regulados e aderência a práticas de segurança da informação e LGPD;
• Experiência no mercado financeiro ou em ambientes de missão crítica;
• Vivência com dados regulatórios e requisitos de órgãos reguladores;
• Conhecimento em Infrastructure as Code utilizando Terraform;
• Conhecimento em Apache Iceberg ou Delta Lake;
• Experiência com Debezium, Kinesis ou outras soluções de streaming e CDC;
• Vivência com ferramentas de catálogo, governança e qualidade de dados;
• Experiência em projetos de migração de plataformas com validação de paridade de dados.

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.

Big enough to deliver – small enough to care.

#VempraGFT

#VamosVoarJuntos

#ProudToBeGFT