Canada
Meridian OneCap Credit Corp.
Index Exchange
Ingénieur Staff, Plateforme de données et infrastructure
À distanceCanada
Toronto, Ontario, Canada
SQLDockerKubernetes
Traduction automatique. Consultez l’original.
À propos du poste
Chez Index Exchange, nous réinventons le fonctionnement de la publicité numérique, à grande échelle. En tant que plateforme publicitaire côté offre (SSP) mondiale, nous permettons aux principaux propriétaires de médias et aux spécialistes du marketing du monde entier de prospérer dans un écosystème programmatique axé sur la confidentialité.
Nous sommes fiers d'être des pionniers du secteur avec plus de 20 ans d'expérience dans l'accélération de l'évolution des technologies publicitaires. Notre technologie propriétaire est utilisée par certaines des plus grandes marques et propriétaires de médias au monde et joue un rôle crucial pour maintenir un Internet ouvert, accessible et largement gratuit.
Nous traitons plus de 550 milliards d'enchères en temps réel chaque jour (en comparaison, Google traite 8.5 milliards de recherches par jour) avec une latence ultra-faible. Notre plateforme est intégrée verticalement, des serveurs aux réseaux, et fonctionne principalement sur notre propre matériel et notre infrastructure cloud. Cette infrastructure de bout en bout est conçue pour offrir à la fois stabilité et agilité, nous permettant de nous adapter rapidement à l'évolution du marché.
Au cœur de tout cela se trouve notre culture axée sur l'ingénierie. Nos ingénieurs s'attaquent à des problèmes à l'échelle d'Internet au sein d'équipes mondiales soudées. Qu'il s'agisse de déplacer des pétaoctets de données, d'optimiser avec l'IA ou de prendre des décisions d'infrastructure en temps réel, les Indexers ont l'autonomie et l'influence nécessaires pour façonner l'avenir de la publicité. Nous avançons rapidement, construisons de manière réfléchie et restons fidèles à nos valeurs fondamentales.
À propos du poste
Nous recrutons un ingénieur de données Staff pour construire et faire évoluer la couche de traitement et de pipeline de données qui alimente les systèmes de reporting, de facturation et les flux de données en temps réel chez Index Exchange.
Ce rôle se concentre sur la conception et l'exploitation de pipelines de données par lots et en streaming à grande échelle, permettant une transformation des données fiable, évolutive et efficace sur toute la plateforme.
Vous travaillerez sur des systèmes qui transforment des données brutes à haut volume en jeux de données propres, interrogeables et de qualité production.
Voici ce que vous ferez
Vous travaillerez sur des systèmes de données à grande échelle qui :
- Traitent des milliards d'événements par jour via des pipelines distribués
- Alimentent la plateforme de données principale prenant en charge les consommateurs (équipes de reporting, de facturation, de MLO)
- Fonctionnent sur des architectures par lots (Spark) et en streaming (Kafka / Flink)
- Nécessitent un équilibre minutieux entre :
- l'exactitude des données
- l'efficacité du traitement
- les compromis entre latence et coût
Vous résoudrez des problèmes tels que :
- La conception de pipelines qui évoluent sans faire exploser les coûts de calcul
- La gestion de l'exactitude des données à grande échelle (déduplication, données tardives, jointures)
- La construction de systèmes prenant en charge à la fois :
- les backfills historiques
- les mises à jour en temps quasi réel
- L'évolution des pipelines d'un traitement centralisé (Hadoop) vers des modèles plus distribués et efficaces
- Les pipelines de streaming et les entrepôts de données (DW) en streaming.
Attentes pour le niveau Staff
- Définir les normes et modèles de traitement de données entre les équipes
- Diriger des initiatives de pipelines et de plateformes à grande échelle
- Influencer les décisions d'architecture et de modélisation des données
- Piloter les améliorations en matière de :
- fiabilité
- efficacité des coûts
- évolutivité
Voici ce que vous ferez
Pipelines de données (Batch + Streaming)
- Concevoir et exploiter des pipelines en utilisant :
- Spark, Flink, etc.
- Kafka / Flink (streaming)
- Transformer les données d'événements brutes en :
- jeux de données nettoyés (couche silver)
- jeux de données prêts pour l'entreprise (couche gold / tables de reporting)
Modèles de données et jeux de données principaux
- Construire et maintenir des jeux de données canoniques (jeux de données agrégés, tables de reporting)
- Définir des contrats de données et assurer la cohérence entre les pipelines
- Prendre en charge l'évolution des cas d'utilisation :
- reporting
- facturation
- ML / expérimentation
Orchestration des flux de travail
- Construire et maintenir des DAG Airflow pour :
- la planification des pipelines
- la gestion des dépendances
- les backfills
- Améliorer la fiabilité et l'observabilité des flux de travail
Optimisation du traitement des données
- Optimiser les pipelines pour :
- les performances (temps d'exécution, débit)
- les coûts (efficacité du calcul)
- l'évolutivité (croissance des données)
- Améliorer :
- les stratégies de partitionnement
- la disposition des données
- les modèles d'exécution des tâches
Pipelines de streaming et en temps quasi réel
- Construire des pipelines qui prennent en charge :
- les mises à jour incrémentielles
- les transformations en streaming
- l'agrégation à grande échelle
- Contribuer à l'évolution de modèles tels que :
- l'agrégation en périphérie (edge)
- la convergence streaming → batch
- la disponibilité des données en temps réel
Responsabilités en matière de conception de plateforme et de système
- Définir et faire évoluer les modèles de traitement de données :
- batch vs streaming
- stratégies d'agrégation
- recalcul incrémentiel vs complet
- Travailler sur :
- Spark (traitement principal)
- Kafka (transport)
- Flink (calcul en streaming)
- systèmes de stockage (Hadoop / Ceph)
- Kubernetes
- Contribuer à :
- décisions d'architecture de plateforme de données
- standardisation des pipelines
- frameworks de traitement de données réutilisables
- Influencer les compromis :
- latence vs coût
- exactitude vs performance
- calcul vs stockage
Vous travaillerez en étroite collaboration avec :
- Les produits de données
- Les équipes de ML et d'expérimentation
- Les équipes d'infrastructure et les systèmes sur site
Ce que nous recherchons
- Une solide expérience en ingénierie de données à grande échelle
- Une expertise approfondie en :
- Frameworks de traitement de données distribuées
- SQL et modélisation de données
- Gestion de projets de bout en bout
- Expérience avec :
- Airflow ou l'orchestration de flux de travail
- Kafka ou systèmes de streaming
- Gestion de kubernetes
- Solide compréhension de :
- traitement de données distribuées
- modélisation de données (jeux de données à grande échelle)
- optimisation des performances
- Capacité à :
- prendre en charge des pipelines de bout en bout
- déboguer des problèmes de données complexes
- travailler dans des environnements à grande échelle en constante évolution
Ce dont vous avez besoin
- Licence ou Master en informatique ou dans des domaines liés à l'ingénierie
- 8+ années d'expérience en tant qu'ingénieur logiciel dans le développement de produits logiciels distribués à grande échelle et de qualité entreprise
- 3+ années d'expérience professionnelle dans la conception et la construction de pipelines de données et d'applications haute performance en utilisant Hadoop/Ceph, Spark/Flink, Hive, Presto/Trino, Kafka, StarRocks/Vertica, Airflow, Kubernetes ou d'autres technologies similaires
- Compréhension approfondie des principes de conception des systèmes distribués à grande échelle et familiarité avec les technologies grand public liées au Big Data et aux frameworks distribués
- Solides compétences en leadership, mentorat et communication, avec une expérience de collaboration au sein d'une équipe mondialement distribuée et culturellement diversifiée
- Connaissance de la modélisation des données, de l'entreposage de données, du traitement des données en streaming et des outils de reporting de business intelligence
- Expérience de travail avec des méthodologies Agile avec intégration et livraison continues comme CI/CD
- Expérience de travail avec la conteneurisation et des outils de virtualisation tels que Kubernetes et Docker
Pourquoi vous aimerez travailler ici
- Plans complets de santé, dentaire et vision pour vous et vos personnes à charge
- Congés payés, jours de santé et jours d'obligations personnelles, ainsi que des horaires de travail flexibles
- Plans de retraite compétitifs avec abondement
- Packages d'actions
- Congé parental généreux disponible pour les parents biologiques, non biologiques et adoptifs
- Allocation annuelle de bien-être, réductions sur le fitness et activités de bien-être en groupe
- Avantages et réductions pour les trajets domicile-travail, le cas échéant
- Programme d'aide aux employés
- Programme de secourisme en santé mentale qui fournit un point de contact et un soutien immédiats
- Un jour de congé de bénévolat par an et un programme de dons jumelés
- Réunions d'équipe bimensuelles et événements réguliers organisés par la communauté
- De multiples ressources et programmes pour soutenir l'apprentissage continu
- Un lieu de travail qui soutient un environnement diversifié, équitable et inclusif – apprenez-en plus ici can01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.indexexchange.com%2Fabout%2Fdiversity-equity-inclusion%2F&data=05%7C01%7C%7Cbd817b7937664bdeb2b008db095e285e%7Cb07c069022b843668d8d7b845d088e18%7C1%7C0%7C638114072223704542%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=I7VfjnjaTtyacfynF7cGU7TSsL32hK3xgUETeVqkB7E%3D&reserved=0
Égalité des chances en matière d'emploi
Chez Index Exchange, nous pensons que les produits à succès sont construits par des équipes aussi diverses que le public qui les utilise. À ce titre, nous nous engageons à offrir l'égalité des chances en matière d'emploi. Nous célébrons la diversité en termes de race, couleur, ascendance, religion, sexe, origine nationale, orientation sexuelle, âge, citoyenneté, état civil, handicap, identité ou expression de genre, ou statut d'ancien combattant. De plus, nous sommes conscients que la diversité est plus profonde que tout statut ou classification : la diversité est l'expérience humaine. Pour ceux qui font preuve de courage, de passion et d'humilité, Index vous accueillera.
Accessibilité pour les candidats en situation de handicap
Index Exchange accueille et encourage les personnes en situation de handicap à postuler pour travailler avec nous.
Si vous avez besoin d'un aménagement, veuillez partager les détails de votre demande et toute information sur la façon dont nous pouvons vous aider avec le recruteur lorsqu'il vous contactera. Index Exchange fera des efforts raisonnables pour s'assurer que les demandes d'aménagement sont satisfaites tout au long du processus de recrutement.
Index partout, Index n'importe où
Notre siège social est à Toronto, avec des bureaux principaux à New York, Montréal, Kitchener, Londres, San Francisco et de nombreuses autres villes mondiales. En tant que plateforme d'échange publicitaire mondiale majeure, nous nous engageons à fonctionner comme une équipe mondiale soudée et à adopter et autonomiser les talents où que se trouvent nos collègues.
Avis de non-responsabilité IA : Des outils automatisés, y compris l'intelligence artificielle, peuvent être utilisés pour aider à filtrer et à évaluer les candidats pour ce poste. Toutes les décisions d'embauche impliquent un examen humain.
Statut du poste : Cette annonce concerne un poste existant.
#LI-ONSIGHT
#LI-HF1
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil