Data Engineer Big Data (HF) – Expert GCP, Kafka, Spark, Scala, Cassandra

Nous recherchons un(e) Data Engineer passionné(e) par le Big Data et les architectures distribuées pour concevoir optimiser et déployer des solutions data à grande échelle.

Missions principales :

• Concevoir développer et maintenir des pipelines data robustes et scalables.
• Travailler sur des architectures distribuées (Kafka Spark Cassandra).
• Optimiser les traitements de données sur GCP (BigQuery Dataflow Dataproc etc.).
• Collaborer avec les équipes Data Science et DevOps pour industrialiser les solutions.
• Assurer la performance la fiabilité et la sécurité des infrastructures data.

Qualifications :

Expérience : Minimum 5 ans en tant que Data Engineer ou Big Data Engineer.

• Compétences techniques obligatoires :
  • Maîtrise de GCP (Google Cloud Platform) et de ses services (BigQuery Pub/Sub Dataflow etc.).
  • Expérience confirmée avec Apache Kafka (streaming connecteurs).
  • Expertise en Spark (PySpark ou Scala) pour le traitement distribué.
  • Connaissance approfondie de Scala ou Python pour le développement.
  • Expérience avec Cassandra (modélisation requêtes optimisation).
• Atouts supplémentaires :
  • Connaissance des outils de monitoring (Prometheus Grafana).
  • Expérience avec Airflow Docker ou Kubernetes.
  • Familiarité avec les bonnes pratiques DevOps (CI/CD IaC).
• Soft skills :
  • Esprit déquipe autonomie et capacité à résoudre des problèmes complexes.
  • Bonne communication pour collaborer avec les métiers et les équipes techniques.

Remote Work :

No

Employment Type :

Full-time