Engenheiro de Dados DevOps

O QUE BUSCAMOS:

Sobre a posição

A posição é responsável pelo desenvolvimento e pela publicação dos processos de dados da empresa. O trabalho combina construção de código com a operação do fluxo que leva esse código até a produção e exige perfil voltado à solução de problemas.

As atividades são registradas no DevOps e o código é versionado e promovido por meio de pull request. Ele passa pelo ambiente de desenvolvimento em seguida pela homologação e somente depois é publicado em produção. Os processos são executados em Apache Airflow 3 implantado em cluster gerenciado pelo Rancher em infraestrutura on-premise com consultas em SQL avançado e Oracle.

Principais atividades

Desenvolver processos em Python com estrutura modular separando funções pacotes e configuração.

Construir e manter DAGs no Apache Airflow 3 com dependências novas tentativas alertas e tratamento de falhas.

Elaborar consultas em SQL avançado e Oracle utilizadas pelos processos.

Versionar o código em Git por meio de branch pull request e revisão antes da promoção.

Registrar as atividades no DevOps e promover as alterações entre os ambientes de desenvolvimento homologação e produção por meio dos pipelines a partir de pull requests aprovados.

Operar a execução no Rancher incluindo deploy variáveis segredos consulta a logs e reinício controlado.

Investigar falhas de execução a partir dos logs do Airflow das consultas no Oracle e do status dos containers.

Documentar a finalidade de cada processo as origens e os destinos dos dados a janela de execução e o responsável.

Requisitos

Experiência com Python organizado em módulos pacotes e funções reutilizáveis.

Experiência prática com Apache Airflow na construção e na operação de DAGs. Airflow 3 é o ambiente utilizado; experiência em Airflow 2 será considerada.

Domínio de SQL avançado com experiência em consultas no Oracle.

Uso de Git e de plataforma DevOps no fluxo de desenvolvimento com registro de atividades branch pull request revisão de código e pipelines.

Experiência com ambientes separados de desenvolvimento homologação e produção.

Experiência com Rancher ou Kubernetes em ambiente on-premise.

Perfil de solução de problemas com capacidade de investigar a causa de falhas analisar logs e corrigir sem alteração direta no ambiente de produção.

Diferenciais

Atuação com Apache Airflow 3 em ambiente produtivo.

Experiência com pipeline de integração e entrega contínua para DAGs e pacotes Python.

Conhecimento de performance e plano de execução em Oracle.

Experiência com imagens Docker no contexto do Rancher.

Implementação de alertas de falha atraso e variação de volume nos processos.

Experiência no rastreamento de falhas em processos com código encapsulado em que a execução percorre diversos módulos pacotes e funções que se chamam entre si e não um script único escrito de ponta a ponta.

Experiência anterior em ambiente on-premise com controle formal de mudanças.

Conhecimento de Linux e shell script para a operação dos servidores e containers.

Para saber mais sobre nós e o trabalho que realizamos visite:

Condições da vaga

Contratação em regime CLT.

Promoção de código obrigatoriamente pelos ambientes de desenvolvimento homologação e produção.

O QUE OFERECEMOS

Benefícios: Plano de Saúde Sem Coparticipação Plano Odontológico Seguro de Vida Day Off no Aniversário Total Pass C4life VR Auxílio Home Office Flash e Plataforma Alura 50% Off.