Engenheiro de Dados / DevOps

O QUE BUSCAMOS:

Sobre a posição

A posição é responsável pelo desenvolvimento e pela publicação dos processos de dados da empresa. O trabalho combina construção de código com a operação do fluxo que leva esse código até a produção, e exige perfil voltado à solução de problemas.

As atividades são registradas no DevOps, e o código é versionado e promovido por meio de pull request. Ele passa pelo ambiente de desenvolvimento, em seguida pela homologação e somente depois é publicado em produção. Os processos são executados em Apache Airflow 3, implantado em cluster gerenciado pelo Rancher, em infraestrutura on-premise, com consultas em SQL avançado e Oracle.

Principais atividades

• Desenvolver processos em Python com estrutura modular, separando funções, pacotes e configuração.

• Construir e manter DAGs no Apache Airflow 3, com dependências, novas tentativas, alertas e tratamento de falhas.

• Elaborar consultas em SQL avançado e Oracle utilizadas pelos processos.

• Versionar o código em Git, por meio de branch, pull request e revisão antes da promoção.

• Registrar as atividades no DevOps e promover as alterações entre os ambientes de desenvolvimento, homologação e produção por meio dos pipelines, a partir de pull requests aprovados.

• Operar a execução no Rancher, incluindo deploy, variáveis, segredos, consulta a logs e reinício controlado.

• Investigar falhas de execução a partir dos logs do Airflow, das consultas no Oracle e do status dos containers.

• Documentar a finalidade de cada processo, as origens e os destinos dos dados, a janela de execução e o responsável.

Requisitos

• Experiência com Python organizado em módulos, pacotes e funções reutilizáveis.

• Experiência prática com Apache Airflow na construção e na operação de DAGs. Airflow 3 é o ambiente utilizado; experiência em Airflow 2 será considerada.

• Domínio de SQL avançado, com experiência em consultas no Oracle.

• Uso de Git e de plataforma DevOps no fluxo de desenvolvimento, com registro de atividades, branch, pull request, revisão de código e pipelines.

• Experiência com ambientes separados de desenvolvimento, homologação e produção.

• Experiência com Rancher ou Kubernetes em ambiente on-premise.

• Perfil de solução de problemas, com capacidade de investigar a causa de falhas, analisar logs e corrigir sem alteração direta no ambiente de produção.

Diferenciais

• Atuação com Apache Airflow 3 em ambiente produtivo.

• Experiência com pipeline de integração e entrega contínua para DAGs e pacotes Python.

• Conhecimento de performance e plano de execução em Oracle.

• Experiência com imagens Docker no contexto do Rancher.

• Implementação de alertas de falha, atraso e variação de volume nos processos.

• Experiência no rastreamento de falhas em processos com código encapsulado, em que a execução percorre diversos módulos, pacotes e funções que se chamam entre si, e não um script único escrito de ponta a ponta.

• Experiência anterior em ambiente on-premise com controle formal de mudanças.

• Conhecimento de Linux e shell script para a operação dos servidores e containers.

Para saber mais sobre nós e o trabalho que realizamos, visite: www.qsoft.com.br

Condições da vaga

• Contratação em regime CLT.

• Promoção de código obrigatoriamente pelos ambientes de desenvolvimento, homologação e produção.

O QUE OFERECEMOS?

Benefícios: Plano de Saúde Sem Coparticipação, Plano Odontológico, Seguro de Vida, Day Off no Aniversário, Total Pass, C4life, VR, Auxílio Home Office Flash e Plataforma Alura 50% Off.