Expert Data Architect – Databricks

Au sein de la Direction des Technologies le pôle BI/Data pilote et réalise les projets de Business Intelligence et de Data Engineering en garantissant la qualité la performance et la scalabilité des solutions.

Vous serez un acteur clé dans la conception loptimisation et la supervision de nos pipelines de données. Vous apporterez votre expertise Databricks pour améliorer larchitecture la performance et la fiabilité de nos flux de données destinés aux clients internes.

Missions principales :

En tant que référent Databricks vous serez amené(e) à intervenir sur les principaux sujets de conception doptimisation et dévolution de la plateforme data :

• Concevoir développer et optimiser des pipelines de traitement et de transformation de données sur Azure Databricks et Azure Data Lake.

• Définir et implémenter des architectures data robustes et scalables pour supporter la croissance des volumes de données.

• Mettre en place des tests automatisés et garantir la qualité et la fiabilité des pipelines de données.

• Participer à la définition et à loptimisation des pipelines CI/CD via Azure DevOps.

• Appliquer les meilleures pratiques de Data Engineering et de software engineering à toutes les étapes du développement.

• Collaborer avec les Product Owners Data et les équipes métiers pour proposer des solutions innovantes adaptées aux besoins.

• Superviser les traitements de données et assurer le monitoring via Datadog ou outils équivalents.

• Identifier et implémenter des optimisations pour améliorer les performances et réduire les coûts sur Databricks.

Environnement technique principal :

• Langages : SQL PySpark Python Scala.
• Outils & BI : Power BI SSIS SSAS Business Objects Datadog Snyk.
• Cloud & Data : Azure Databricks Azure Data Factory ADLS Gen2.
• CI/CD & DevOps : Git Azure DevOps.

Qualifications :

Vos atouts pour faire la différence :

• Diplôme Bac5 en informatique ingénierie ou domaine équivalent.
• Minimum 5 ans dexpérience en Data Engineering Data Architecture ou Databricks avec expérience dans le pilotage déquipe ou de projets.
• Maîtrise avancée de plusieurs langages : Python PySpark Scala SQL.
• Expertise confirmée dans le développement et loptimisation de pipelines Databricks avec capacité à définir les standards techniques et bonnes pratiques.
• Maîtrise de Spark UI pour diagnostiquer et améliorer la performance des traitements complexes.
• Très bonne connaissance de lécosystème Azure Cloud et de ses services orientés Data (ADF ADLS Databricks).
• Expérience dans la mise en place des bonnes pratiques de développement : clean code versioning tests unitaires CI/CD et principes de modélisation BI.
• Pratique avancée de dbt ou frameworks similaires pour la transformation SQL et lorchestration de données.
• Expérience du travail en méthodologie Agile en collaboration avec Product Owners Data et équipes projet.
• Leadership et esprit déquipe : capable de guider et coacher les membres de léquipe de prendre des décisions stratégiques et de proposer des solutions innovantes.
• Capacité dadaptation rapide dans un environnement technique en constante évolution et force de proposition pour améliorer larchitecture et les processus.

Informations supplémentaires :

Pourquoi rejoindre notre équipe

• Un environnement dynamique et innovant au sein dune équipe passionnée par les technologies de données.
• La possibilité de travailler sur des projets denvergure à la pointe des technologies cloud et Big Data.
• Des opportunités dévolution et de formation continue pour développer vos compétences.
• Un cadre de travail flexible et des avantages attractifs.

Remote Work :

No

Employment Type :

Full-time