États-Unis
Launch Legends
WatchGuard Technologies, Inc.
Ingénieur Données Senior
États-Unis
Miami, Florida, United States
PythonSQLTerraform
Traduction automatique. Consultez l’original.
À propos du poste
Nous recherchons un Ingénieur Données Senior pour rejoindre notre équipe de plateforme de données en pleine croissance. Vous serez responsable de la conception, de la construction et de la fiabilité de notre lakehouse de données natif dans le cloud, de l'ingestion brute jusqu'aux tables Gold prêtes pour l'analyse. Vous travaillerez en étroite collaboration avec les analystes de données, les ingénieurs analytiques et les parties prenantes produit pour fournir des données fiables à grande vitesse, tout en promouvant la qualité des données et l'observabilité comme des préoccupations de premier ordre.
Ce rôle se situe à l'intersection de l'ingénierie des données et de l'ingénierie des plateformes — vous devrez penser en termes d'architectures, pas seulement de pipelines.
Ce que vous ferez
Ingénierie de la plateforme et des pipelines de données
- ▸ Concevoir, construire et maintenir des pipelines ETL/ELT évolutifs en utilisant Azure Data Factory (ADF) et Apache Airflow, en traitant des données structurées et semi-structurées à travers l'architecture Medallion (Bronze → Silver → Gold).
- ▸ Implémenter des modèles de chargement incrémentiel, la capture des données modifiées (CDC) et l'ingestion pilotée par événements pour assurer la fraîcheur des données sur toute la plateforme.
- ▸ Construire et optimiser les objets de l'entrepôt de données Snowflake — tables, vues, tables dynamiques, flux, tâches et procédures stockées — pour la performance et l'efficacité des coûts.
- ▸ Développer des modèles dbt modulaires et testés, alignés sur chaque couche Medallion, en appliquant des conventions de nommage cohérentes, une documentation et une lignée à travers toutes les transformations.
Qualité des données et Observabilité
- ▸ Intégrer la validation automatisée des données à chaque couche Medallion en utilisant Elementary (la couche d'observabilité de dbt), en garantissant la détection d'anomalies, les vérifications de fraîcheur et les alertes de dérive de schéma avant que les données n'atteignent les consommateurs.
- ▸ Définir et appliquer des contrats de données entre les producteurs et les consommateurs — vérifications du nombre de lignes, seuils de taux de nullité, intégrité référentielle et validation du domaine de valeurs.
- ▸ Construire et maintenir des tableaux de bord de qualité des données pour donner aux parties prenantes de l'ingénierie et des affaires une confiance en temps réel dans la santé de la plateforme.
Infrastructure Cloud Azure
- ▸ Gérer et optimiser Azure Data Lake Storage Gen2 (ADLS) — structures de dossiers, politiques de cycle de vie, niveaux d'accès et stratégies de partitionnement.
- ▸ Construire et maintenir Azure Functions et Azure Logic Apps pour le traitement léger piloté par événements, les déclencheurs d'orchestration et l'automatisation opérationnelle.
- ▸ Gérer les secrets, les identifiants et la configuration spécifique à l'environnement en toute sécurité à l'aide de Azure Key Vault — pas de secrets codés en dur dans les pipelines ou le code.
- ▸ Contribuer aux pratiques d'infrastructure en tant que code pour le provisionnement des services de données Azure (Terraform ou Bicep préférés).
Collaboration et Livraison
- ▸ Traduire des exigences commerciales ambiguës en modèles de données et conceptions de pipelines bien définis, en travaillant avec les analystes et les parties prenantes pour valider les hypothèses avant la construction.
- ▸ Participer aux revues de code, faire respecter les normes et encadrer les ingénieurs juniors sur les meilleures pratiques d'ingénierie des données.
- ▸ Soutenir l'adoption de CI/CD pour le déploiement de pipelines et de modèles dbt dans les environnements Dev / Test / Prod.
Ce que nous recherchons
Indispensable
- ▸ Snowflake: Snowflake – SQL avancé — fonctions de fenêtre, CTE, requêtes récursives, profilage de requêtes – Fonctionnalités natives de Snowflake: flux, tâches, snowpipe, tables dynamiques, sécurité au niveau des lignes – Optimisation des entrepôts virtuels et optimisation des coûts en crédits
- ▸ dbt + Elementary: dbt + Elementary – Rédaction, test et documentation de modèles dbt en production – Intégration Elementary pour l'observabilité des données et la détection d'anomalies – Stratégies incrémentielles dbt, snapshots et couche sémantique
- ▸ Cloud Azure: Cloud Azure – Azure Data Factory — création de pipelines, déclencheurs, paramétrage, services liés – ADLS Gen2 — conception de zones/dossiers, gestion du cycle de vie, partitionnement Parquet/Delta – Azure Key Vault — gestion des secrets, identités managées – Azure Functions / Logic Apps — déclencheurs pilotés par événements et automatisation légère
- ▸ Airflow: Airflow – Création de DAG, dépendances de tâches, XCom, capteurs et gestion des connexions – Déploiement et surveillance d'Airflow dans des environnements hébergés dans le cloud
- ▸ Python: Python – Scripting de pipelines de données, bases PySpark, intégration REST API – Tests unitaires de la logique des pipelines et des fonctions de transformation
- ▸ Qualité des données et Architecture Medallion: Architecture Medallion: – Expérience pratique de la mise en œuvre de l'architecture Medallion Bronze / Silver / Gold – Vérifications de validation des données à chaque couche — pas seulement à la couche Gold finale – Gestion de l'évolution du schéma et gestion des dimensions SCD Type 2
- ▸ Plus de 4 années d'expérience professionnelle en ingénierie des données, dont au moins 2 années sur des plateformes de données cloud Azure.
Ce que nous recherchons
Indispensable
- ▸ Snowflake: Snowflake – SQL avancé — fonctions de fenêtre, CTE, requêtes récursives, profilage de requêtes – Fonctionnalités natives de Snowflake: flux, tâches, snowpipe, tables dynamiques, sécurité au niveau des lignes – Optimisation des entrepôts virtuels et optimisation des coûts en crédits
- ▸ dbt + Elementary: dbt + Elementary – Rédaction, test et documentation de modèles dbt en production – Intégration Elementary pour l'observabilité des données et la détection d'anomalies – Stratégies incrémentielles dbt, snapshots et couche sémantique
- ▸ Cloud Azure: Cloud Azure – Azure Data Factory — création de pipelines, déclencheurs, paramétrage, services liés – ADLS Gen2 — conception de zones/dossiers, gestion du cycle de vie, partitionnement Parquet/Delta – Azure Key Vault — gestion des secrets, identités managées – Azure Functions / Logic Apps — déclencheurs pilotés par événements et automatisation légère
- ▸ Airflow: Airflow – Création de DAG, dépendances de tâches, XCom, capteurs et gestion des connexions – Déploiement et surveillance d'Airflow dans des environnements hébergés dans le cloud
- ▸ Python: Python – Scripting de pipelines de données, bases PySpark, intégration REST API – Tests unitaires de la logique des pipelines et des fonctions de transformation
- ▸ Qualité des données et Architecture Medallion: Architecture Medallion: – Expérience pratique de la mise en œuvre de l'architecture Medallion Bronze / Silver / Gold – Vérifications de validation des données à chaque couche — pas seulement à la couche Gold finale – Gestion de l'évolution du schéma et gestion des dimensions SCD Type 2
- ▸ Plus de 4 années d'expérience professionnelle en ingénierie des données, dont au moins 2 années sur des plateformes de données cloud Azure.
Atouts
- ▸ Exposition à Snowflake Cortex, à la couche sémantique dbt, ou à Boomi Data Hub pour l'enrichissement des données assisté par IA dans les couches de pipeline.
- ▸ Expérience dans l'intégration de vérifications de qualité basées sur LLM ou de détection d'anomalies assistée par IA dans les flux de données.
- ▸ Connaissance de Microsoft Fabric et OneLake en tant que plateforme complémentaire ou future.
- ▸ Connaissance du data mesh ou de la pensée produit de données et de la manière dont elle s'applique à la propriété des couches Medallion.
- ▸ Expérience avec Terraform ou Bicep pour le provisionnement de l'infrastructure Azure.
Atouts
- ▸ Exposition à Snowflake Cortex, à la couche sémantique dbt, ou à Boomi Data Hub pour l'enrichissement des données assisté par IA dans les couches de pipeline.
- ▸ Expérience dans l'intégration de vérifications de qualité basées sur LLM ou de détection d'anomalies assistée par IA dans les flux de données.
- ▸ Connaissance de Microsoft Fabric et OneLake en tant que plateforme complémentaire ou future.
- ▸ Connaissance du data mesh ou de la pensée produit de données et de la manière dont elle s'applique à la propriété des couches Medallion.
- ▸ Expérience avec Terraform ou Bicep pour le provisionnement de l'infrastructure Azure.
\n
\n
Pourquoi travailler chez WatchGuard ?
WatchGuard est un leader mondial de la sécurité réseau et de l'intelligence, de la protection avancée des points d'extrémité, de l'authentification multifacteur et du Wi-Fi sécurisé. Nos produits et services primés sont approuvés dans le monde entier par plus de 18,000 revendeurs et fournisseurs de services de sécurité pour protéger plus de 250,000 clients. Notre technologie permet à nos clients de garder une longueur d'avance sur des pirates de plus en plus sophistiqués et a alimenté des revenus records chez WatchGuard.
WatchGuard a son siège social à Seattle, Washington, avec des membres d'équipe travaillant à distance et dans des bureaux du monde entier.
Notre culture d'entreprise met l'accent sur nos clients et nos employés. Du plus récent employé à notre PDG, vous constaterez que chaque personne chez WatchGuard incarne nos valeurs fondamentales : Responsabilité, Communauté, Appartenance, Action, Innovation et Orientation Client. Apprenez-en davantage sur notre culture d'entreprise sur watchguard.com/wgrd-careers.
WatchGuard offre des opportunités d'emploi égales à tous les employés qualifiés, indépendamment de leur race, couleur, origine nationale, religion, ascendance, credo, grossesse, âge, sexe, orientation sexuelle (y compris l'expression ou l'identité de genre), état matrimonial, handicap mental ou physique, statut de vétéran honorablement libéré ou militaire, ou toute autre catégorie protégée par les lois fédérales, étatiques ou locales. Notre politique d'égalité d'emploi (ou EEO) se concentre uniquement sur le talent, le travail acharné, les contributions et les résultats réels obtenus par chaque employé de WatchGuard et sur le potentiel des candidats à l'emploi à apporter de telles contributions. Nous considérons que se concentrer sur les caractéristiques protégées d'un employé plutôt que sur le talent, le travail acharné et les résultats de travail réels viole notre politique EEO. En tant qu'employeur garantissant l'égalité des chances, nous nous engageons à avoir une main-d'œuvre diversifiée. WatchGuard participe à E-verify.
WatchGuard s'engage à fournir des aménagements raisonnables aux personnes qualifiées handicapées dans le cadre de nos procédures de candidature. Veuillez nous faire savoir si vous avez besoin d'aide ou d'un aménagement en raison d'un handicap.
Rémunération
La fourchette de salaire de base est de 140,000 à 150,000 $ par an pour un emploi à temps plein, hors avantages sociaux. Votre salaire de base sera déterminé par vos compétences individuelles, votre formation et votre expérience. L'embauche au maximum de la fourchette n'est pas typique afin de permettre une croissance salariale future.
Avantages sociaux aux États-Unis
- Plan d'avantages sociaux complet comprenant une assurance médicale, dentaire, vision, invalidité et vie
- Compte d'épargne santé (HSA)
- HSA avec contribution de l'employeur
- 10 jours fériés payés
- 10 jours de congé annuel payé
- 9 jours de maladie payés
- Congé parental payé
- 401(k) avec abondement de l'employeur
Autres avantages
- Programme d'aide à la formation
- Abondement HSA pour les soins aux personnes à charge
- Aide à l'adoption
- Soutien aux soins de fertilité
- Garde d'urgence pour la famille et les animaux de compagnie
- Un réseau croissant de groupes de ressources pour les employés
- Programme de parrainage d'employés
- Programme d'aide aux employés
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil