Portugal
ISS
Chain IQ
Ingénieur Senior Plateforme de Données
Portugal
Lisbon, Portugal
PythonSQLAWSGCPTerraform
Traduction automatique. Consultez l’original.
À propos du poste
Chez Chain IQ, vos idées avancent vite.
Chain IQ est un partenaire mondial de services d'approvisionnement piloté par l'IA, dont le siège est à Baar, en Suisse, avec des opérations dans les principaux centres et 16 bureaux dans le monde.
Nous fournissons des solutions d'approvisionnement sur mesure, de bout en bout, qui permettent la transformation, favorisent la scalabilité et génèrent des réductions substantielles des dépenses indirectes de nos clients.
Notre culture est fondée sur l'innovation, l'entrepreneuriat, la prise de responsabilité et l'impact.
Ici, votre voix compte : les réflexions audacieuses sont encouragées et l'action suit l'ambition.
Objectif du rôle
Nous construisons une plateforme de données modulaire de niveau entreprise, alimentée par Databricks, conçue pour fournir des données fiables et gouvernées via plusieurs canaux de consommation, notamment l'analytique, les APIs, le streaming et les solutions de graphes de connaissances.
La plateforme est construite sur un modèle de données canonique partagé et met l'accent sur la scalabilité, la gouvernance, la confidentialité et un état d'esprit « Data as a Product ».
En tant qu'Ingénieur Senior Plateforme de Données, vous jouerez un rôle clé dans la conception et l'évolution de la plateforme à travers l'ingestion, la gouvernance, la modélisation des données et les produits de données.
Il s'agit d'un rôle pratique, axé sur une forte prise de responsabilité, visant à construire des capacités de plateforme réutilisables, à permettre un accès fiable aux données à grande échelle et à promouvoir les meilleures pratiques d'ingénierie dans l'écosystème des données.
Rejoignez une équipe véritablement mondiale.
Nous offrons un environnement dynamique et international où la haute performance rencontre un véritable objectif. Nous sommes fiers d'être certifiés Great Place to Work et encore plus fiers des personnes qui rendent cela possible. Façonnons ensemble l'avenir de l'approvisionnement.
Chain IQ – Créez. Dirigez. Ayez un impact.
Responsabilités
- Développer et maintenir des modèles d'ingestion modulaires prenant en charge des sources de données batch, basées sur API, et événementielles (par exemple, JDBC, connecteurs SaaS/ERP, Kafka, CDC).
- Établir des frameworks d'ingestion réutilisables (pilotés par les métadonnées lorsque possible) qui permettent l'intégration rapide et cohérente de nouvelles sources de données.
- Construire et optimiser des pipelines de données basés sur Databricks (Spark, Delta Live Tables/Lakeflow) à travers l'architecture médaillon (Bronze, Silver, Gold).
- Implémenter et faire évoluer les capacités de gouvernance des données, y compris les contrôles d'accès, la lignée, le catalogage, l'audit, la classification des données et la conformité à la confidentialité.
- Définir et appliquer les normes de qualité des données, les contrats de données, la surveillance et l'alerte à travers les couches d'ingestion et de transformation.
- Mettre en œuvre des solutions de protection des données et de confidentialité, y compris le masquage, la tokenisation, la pseudonymisation et d'autres techniques d'anonymisation appropriées pour répondre aux exigences réglementaires (par exemple, RGPD).
- Construire, posséder et faire évoluer des produits de données alignés sur un modèle de données canonique, en garantissant une propriété claire, des SLA et une documentation.
- Collaborer avec les équipes de domaine pour intégrer les données sources dans le modèle canonique tout en préservant les nuances spécifiques au domaine.
- Promouvoir une approche « Data as a Product » : découvrabilité, libre-service, versioning et contrats orientés consommateur.
- Construire et maintenir des couches de consommation et de service de données, y compris des ensembles de données BI/analytiques, des APIs (REST/GraphQL), et des extensions pilotées par les cas d'utilisation telles que les sorties de streaming ou les représentations de graphes de connaissances.
- Piloter les normes techniques et la direction de la plateforme à travers CI/CD, l'Infrastructure as Code, les tests, l'observabilité et l'optimisation des coûts.
- Encadrer les ingénieurs et collaborer avec les parties prenantes de la gouvernance, de la sécurité, de l'architecture et du métier.
Exigences
- Environ 6+ années d'expérience en ingénierie de données, dont 2+ années dans la conception/exploitation de plateformes Lakehouse basées sur Databricks à l'échelle de production.
- Expertise pratique avec Apache Spark et Delta Lake ; l'expérience avec Delta Live Tables/Lakeflow Declarative Pipelines est un atout majeur.
- Expérience pratique avec Unity Catalog (ou équivalent) pour le contrôle d'accès, la lignée et le catalogage.
- Expérience démontrée dans la mise en œuvre de techniques d'anonymisation/pseudonymisation des données dans un environnement réglementé.
- Solide compréhension de la modélisation de données canonique/conforme (par exemple, Data Vault, modélisation dimensionnelle, conception orientée domaine pour les données).
- Expérience avérée dans l'exposition de données via des APIs (REST/GraphQL) - conception de schémas, de contrats et de versioning pour les consommateurs externes/internes.
- Maîtrise de Python et/ou Scala, SQL, et de l'infrastructure-as-code (Terraform de préférence).
- Bonne compréhension des cadres de gouvernance des données, de la réglementation sur la confidentialité des données (RGPD/CCPA) et des pratiques de sécurité des données.
- Expérience avec les plateformes cloud (Azure, AWS, ou GCP) et leurs services natifs de données/événements.
Atouts
- Exposition à Structured Streaming ou à l'ingestion événementielle (Kafka, outils CDC tels que Debezium) - pas une exigence principale, mais utile à mesure que la plateforme mûrit.
- Familiarité avec les concepts de graphes de connaissances (par exemple, RDF/graphes de propriétés, Neo4j, couches de graphes sur Spark) - un plus plutôt qu'une attente.
- Expérience avec les architectures de data mesh ou de produits de données fédérés.
- Expérience avec des outils de gestion des métadonnées/catalogues au-delà de Unity Catalog (par exemple, OpenMetadata, Collibra, Purview).
- Exposition aux modèles MLOps ou de feature store sur Databricks.
- Certifications pertinentes (Professionnel Data Engineer Databricks, certifications d'architecture cloud).
Informations pour les agences : Les candidatures envoyées ou téléchargées par des agences de placement ou similaires ne sont pas souhaitées, ne seront donc pas prises en considération et seront supprimées.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil