Mexique
Banco Mercantil del Norte, S.A.
HEXAWARE
Lead Big Data
Mexique
Mexico, Chihuahua, Mexico
PythonSQLAWSTerraform
Traduction automatique. Consultez l’original.
À propos du poste
- Concevoir, construire et maintenir des pipelines ETL et de données évolutifs en utilisant Python, PySpark et les services AWS.
- Développer et gérer des flux de travail à l'aide de Glue, Lambda et Step Functions.
- Construire des intégrations pilotées par les événements à l'aide de SNS, SQS et des services AWS associés.
- Concevoir et optimiser des solutions de data lake et d'entrepôt de données en utilisant S3, Athena et Redshift.
- Écrire et optimiser des SQL haute performance pour des transformations et des rapports complexes.
- Concevoir et mettre en œuvre des cadres de validation, de surveillance, de journalisation, d'alerte et de gestion des erreurs de données.
- Concevoir et prendre en charge des intégrations basées sur les API et les JSON entre les systèmes internes et externes.
- Dépanner les problèmes opérationnels, identifier les causes profondes et mettre en œuvre des actions correctives.
- Contribuer à la documentation, à l'automatisation du déploiement et aux meilleures pratiques d'ingénierie.
- Collaborer avec les parties prenantes et encadrer les membres juniors de l'équipe si nécessaire.
Prérequis
- 8-12 années d'expérience en développement logiciel sur la plateforme appropriée.
- Solides antécédents et expérience en informatique.
- Expérience en tant que développeur d'applications pour des projets de portée et de responsabilité similaires.
- Solide expertise en Python, PySpark et SQL.
- Solide expérience pratique des services AWS tels que Glue, Redshift, RDS, Lambda, Step Functions, SNS, SQS, S3, Athena, EMR, CloudWatch et CloudTrail.
- Expérience avec les data lakes d'entreprise, les entrepôts de données, les data marts et les environnements big data.
- Solide compréhension des meilleures pratiques ETL, de la qualité des données et du support opérationnel.
- Expérience avec les APIs, les JSON et les modèles d'intégration de données basés sur le cloud.
- Familiarité avec les outils de développement GitLab, Terraform, CI/CD et AWS.
- Expérience avec DynamoDB, EC2, ECS et Batch.
- Exposition aux programmes de migration de données et de modernisation du cloud.
- Avoir une bonne compréhension de l'ingénierie des performances des pipelines de code et des systèmes quasi temps réel.
- Bonne compréhension des Agents et de MCP.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil