Desenvolvedor Big Data

Estamos buscando um(a) Desenvolvedor(a) Big Data para atuar em um projeto internacional do mercado financeiro com foco em Datalake pipelines de dados e Risco de Mercado.

É obrigatória a disponibilidade para trabalhar no fuso horário da Espanha.

Principais responsabilidades

• Desenvolver e manter pipelines de dados utilizando Apache Spark e Scala;
• Implementar processos de ingestão transformação validação e publicação de dados;
• Trabalhar com SQL e PL/SQL no processamento e tratamento de dados;
• Planejar e orquestrar processos utilizando Control-M;
• Otimizar o desempenho a confiabilidade e a escalabilidade dos processos Spark;
• Realizar testes unitários e integrados e apoiar testes de aceitação (UAT);
• Investigar e resolver incidentes em produção;
• Colaborar com equipes internacionais em ambiente Agile.

Requisitos obrigatórios

• Experiência em desenvolvimento Big Data com atuação em Apache Spark e Scala;
• Conhecimento de SQL e PL/SQL;
• Experiência com pipelines de dados e Datalake;
• Conhecimento de Control-M e Airflow;
• Experiência com testes e suporte a ambientes produtivos;
• Conhecimento de Databricks Azure AWS Compute e/ou YARN;
• Experiência com CI/CD e ferramentas como GitHub Jenkins e Sonar;
• Conhecimento de Power BI;
• Conhecimento de ServiceNow e experiência em monitoramento de produção;
• Conhecimentos de qualidade e rastreabilidade de dados;
• Experiência no setor bancário especialmente em Risco de Mercado métricas regulatórias P&L exposição limites ratings ou reporting;
• Inglês em nível de conversação;
• Espanhol em nível de conversação;
• Disponibilidade para atuar no fuso horário da Espanha.