Ingénieur Principal - Ingénieur de données Databricks

Mexique

Guadalajara, Sonora, Mexico

Traduction automatique. Consultez l’original.

Description de l'entreprise

Nous sommes une entreprise d'ingénierie de produits numériques en pleine expansion ! Nous concevons des produits, des services et des expériences qui inspirent, enthousiasment et ravissent. Nous travaillons à grande échelle, sur tous les appareils et supports numériques, et nos collaborateurs sont présents partout dans le monde (plus de 15000 experts répartis dans 26 pays, pour être exact). Notre culture d'entreprise est dynamique et non hiérarchique. Nous recherchons de nouveaux collègues talentueux. C'est là que vous intervenez !

Description du poste

Description du poste :

Auditer l'état actuel de l'espace de travail Databricks, y compris les environnements, les clusters, la configuration de Unity Catalog, les contrôles d'accès et la configuration des coûts.

Mettre en œuvre et renforcer Unity Catalog, notamment la structure des espaces de noms, les contrôles d'accès, les politiques de cluster et la séparation des environnements.

Définir les normes des espaces de travail, les conventions de nommage, les flux de travail de demande d'accès et les processus d'intégration des utilisateurs et des équipes.

Établir des cadres de qualité des données, incluant les SLA, les critères de certification et les modèles de propriété des données.

Créer des modèles d'automatisation pour les opérations courantes des espaces de travail, telles que la gestion du cycle de vie des clusters, les alertes de coûts et le suivi de l'utilisation.

Mettre en place des tableaux de bord d'observabilité couvrant la santé de la plateforme, les coûts, les taux de réussite des tâches et les KPI des SLA de qualité des données, et surveiller la lignée des actifs de données principaux à travers les espaces de travail.

Créer des guides opérationnels (runbooks) pour les tâches récurrentes pouvant être exécutées par un ingénieur de niveau intermédiaire ou junior sans support continu de la part d'une ressource senior.

Mener des sessions de transfert de connaissances avec l'équipe d'ingénierie de plateforme.

Fournir une documentation finale couvrant les décisions architecturales, les normes opérationnelles, les points en suspens et les recommandations pour le profil de recrutement permanent.

Responsabilités clés.

Évaluer et optimiser les environnements Databricks, y compris les espaces de travail, les clusters, les catalogues, les autorisations et les configurations de sécurité.

Définir et mettre en œuvre des normes de gouvernance pour garantir des opérations de plateforme sécurisées, évolutives et conformes.

Diriger l'adoption de Unity Catalog, en concevant les structures de données, les modèles d'accès et les stratégies de ségrégation des environnements.

Établir des politiques RBAC, des normes d'espace de travail, des conventions de nommage et des processus d'accès utilisateur.

Piloter les initiatives de gouvernance des données, incluant les cadres de qualité des données, les modèles de propriété, les SLA, la lignée et les pratiques de gestion des données (stewardship).

Développer des solutions d'automatisation et des cadres d'Infrastructure as Code (IaC) pour rationaliser l'administration de la plateforme et réduire les efforts manuels.

Mettre en œuvre l'optimisation des coûts, le suivi et les pratiques d'excellence opérationnelle dans les environnements Databricks.

Concevoir des tableaux de bord d'observabilité et de performance pour suivre la santé de la plateforme, l'utilisation, les taux de réussite des tâches et les KPI de qualité des données.

Créer une documentation opérationnelle, des guides (runbooks) et des procédures de support pour améliorer la fiabilité de la plateforme et la préparation de l'équipe.

Collaborer avec les équipes de sécurité, de conformité, d'infrastructure et d'ingénierie des données pour aligner les capacités de la plateforme sur les besoins de l'entreprise.

Fournir des formations, du mentorat et des sessions de transfert de connaissances pour autonomiser les administrateurs de plateforme et les équipes d'ingénierie.

Recommander des améliorations de la plateforme et des stratégies à long terme pour renforcer la gouvernance, l'évolutivité et la maturité organisationnelle.

Qualifications

Compétences requises : Azure Data Factory, Databricks, Unity Catalog

Compétences souhaitées : Mise en œuvre de plateformes de données, administration de Google Workspace

Région de service : UCC

Langues

Ingénieur Principal - Ingénieur de données Databricks

Description de l'entreprise

Description du poste

Responsabilités clés.

Qualifications

Ton prochain jobest déjà à ta recherche.

Plus d’opportunités avec un seul profil

Continuer à explorer

Ingénieur de déploiement (Forward Deployed Engineer), Marché intermédiaire - Mexico 🇲🇽

Ingénieur de déploiement (Forward Deployed Engineer), Entreprise - Mexico City 🇲🇽

Ingénieur support technique