Portugal
NOS
Sigma Software
Ingénieur Data Senior (Migration Databricks)
Portugal
Lisbon, Portugal
PythonSQLAWSGCP
Traduction automatique. Consultez l’original.
À propos de nous
Êtes-vous un Ingénieur Data Senior passionné par la création de plateformes de données évolutives et performantes, et par le travail avec les technologies modernes de Lakehouse ? Rejoignez le Centre d'Excellence Data Engineering de Sigma Software et contribuez à la modernisation d'un écosystème analytique à l'échelle de l'entreprise pour le domaine du retail.
Nous recherchons un spécialiste senior possédant une solide expertise en Databricks, PySpark et en ingénierie de données cloud pour participer à la migration d'une plateforme analytique à grande échelle de BigQuery vers Databricks. Vous collaborerez avec des équipes internationales, contribuerez aux décisions architecturales et aiderez à façonner des solutions de données fiables et évolutives.
Chez Sigma Software, nous créons des opportunités d'apprentissage continu, de croissance technologique et d'impact d'ingénierie significatif tout en travaillant sur des projets internationaux complexes.
PROJET
Le projet se concentre sur la migration stratégique d'une plateforme analytique à grande échelle d'un écosystème BigQuery hérité vers une architecture moderne de Lakehouse Databricks. La plateforme traite des ensembles de données retail de haut volume, des charges de travail de machine learning, des pipelines d'analyse et une logique métier spécifique au client.
Dans le cadre de l'initiative de modernisation, l'équipe d'ingénierie met en œuvre un traitement évolutif basé sur Spark, une architecture Delta Lake, des couches de données medallion et des pratiques de gouvernance modernes. Le rôle offre l'opportunité de travailler avec des systèmes de traitement de données distribués, d'optimiser des charges de travail à grande échelle et de contribuer à l'évolution d'une plateforme de données de niveau entreprise.
Technologies Clés : Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog
CLIENT
Notre Client est une entreprise leader dans le domaine des technologies du retail, spécialisée dans les solutions d'optimisation des prix basées sur l'IA pour les grandes entreprises de distribution. L'entreprise aide les entreprises à améliorer leur rentabilité et leur compétitivité grâce à l'analyse avancée, à l'automatisation et à des stratégies de prix intelligentes. Leur plateforme combine la business intelligence avec des algorithmes sophistiqués pour soutenir les décisions de prix basées sur les données à grande échelle pour les organisations mondiales du retail.
Description du poste
- Participer à la migration d'une plateforme analytique à grande échelle de BigQuery vers Databricks
- Concevoir et implémenter des architectures Lakehouse évolutives en utilisant Databricks et Delta Lake
- Analyser les charges de travail ETL / ELT existantes et définir les approches de migration
- Développer et optimiser des pipelines de données traitant de grands volumes de données retail et analytiques
- Implémenter des stratégies de traitement incrémental et des frameworks de transformation évolutifs
- Construire et maintenir des solutions de traitement de données basées sur Spark en utilisant PySpark
- Concevoir et maintenir les couches d'architecture medallion, y compris Bronze, Silver et Gold
- Implémenter les meilleures pratiques de gouvernance et de sécurité des données en utilisant Unity Catalog
- Collaborer avec les équipes Data Science, Analytics, Produit et Customer Engineering
- Participer aux discussions d'architecture et à la conception de solutions techniques
- Développer des composants réutilisables de plateforme de données et des standards d'ingénierie
- Effectuer des revues de code et contribuer à la fiabilité et à la maintenabilité de la plateforme
- Dépanner et optimiser des charges de travail complexes de SQL et Spark
- Soutenir les déploiements en production et les activités de modernisation de la plateforme
Qualifications
- 5+ années d'expérience professionnelle en tant qu'Ingénieur Data
- Solides compétences en programmation en Python et en SQL avancée
- Expérience commerciale pratique avec Databricks
- Solide connaissance d'Apache Spark, principalement PySpark
- Expérience dans la conception et la construction de plateformes de données modernes basées sur le cloud
- Expérience dans le développement de pipelines ETL / ELT et de solutions de traitement de données à grande échelle
- Expérience pratique avec Delta Lake
- Expérience avec les pipelines déclaratifs Spark
- Expérience avec la surveillance des clusters, l'analyse des métriques et l'optimisation des performances
- Solide compréhension des architectures de traitement de données distribuées
- Solide compréhension des concepts d'entreposage de données et de modélisation dimensionnelle
- Expérience avec Airflow ou des outils d'orchestration similaires
- Expérience dans l'optimisation de charges de travail analytiques complexes de SQL
- Expérience dans la mise en œuvre des pratiques CI / CD pour les plateformes d'ingénierie de données
- Solides compétences en dépannage et en optimisation des performances
- Capacité à travailler en collaboration dans des équipes internationales interfonctionnelles
- Niveau d'anglais intermédiaire supérieur ou plus
SERA UN PLUS
- Expérience de travail avec les services cloud GCP
- Expérience avec les plateformes cloud AWS ou Azure
- Expérience dans les domaines de l'analyse retail ou de l'optimisation des prix
- Expérience dans le support des charges de travail de données liées au machine learning ou à l'IA
- Expérience avec la modernisation des plateformes et les initiatives de migration cloud
Informations supplémentaires
PROFIL PERSONNEL
- Fort esprit d'analyse et de résolution de problèmes
- Approche proactive et axée sur la responsabilité
- Capacité à travailler de manière autonome et collaborative
- Bonnes compétences en communication et en collaboration avec les parties prenantes
- Passion pour l'ingénierie de données évolutive et les plateformes de données modernes
- Intérêt pour l'apprentissage continu et l'innovation technologique
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil