Kanada
Aviso Wealth
Movable Ink
Senior Data Engineer, AI Systems
Kanada
Toronto, Ontario, Canada
PythonGCPDockerKubernetes
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Movable Ink skaliert Content-Personalisierung für Marketer durch datengesteuerte Content-Generierung und KI-Entscheidungsfindung. Die innovativsten Marken der Welt verlassen sich auf Movable Ink, um Umsatz zu maximieren, Arbeitsabläufe zu vereinfachen und die Agilität im Marketing zu steigern. Mit Hauptsitz in New York City und fast 600 Mitarbeitern bedient Movable Ink seinen globalen Kundenstamm mit Niederlassungen in Nordamerika, Mittelamerika, Europa, Australien und Japan.
Das AI Systems Team verantwortet die Kern-Empfehlungsmaschine und die ML-Plattform, die täglich Milliarden von KI-gesteuerten Marketingentscheidungen für einige der größten Konsumgütermarken der Welt ermöglicht. Als Senior Data Engineer sind Sie für die Spark-basierten Datenpipelines und die Dateninfrastruktur im Herzen dieses Systems verantwortlich – Sie bauen, skalieren und optimieren die Datenebene, die unsere Produktions-ML-Modelle speist. Sie arbeiten in einer kollaborativen Umgebung mit ML-Ingenieuren und Wissenschaftlern zusammen und tragen Datenpipelines und Produkte bei, um unsere Kernempfehlungssysteme und unser DaVinci Personalization-Produkt zu ermöglichen. Dies ist eine Gelegenheit, End-to-End an groß angelegten Datensystemen zu arbeiten, die Millionen von Kunden erreichen, in einem Team, das an der Schnittstelle von Data Engineering und machine learning tätig ist.
Diese Rolle berichtet an den Director of Engineering (AI/ML).
Aufgaben
- Erstellung, Wartung und Optimierung von Produktionsdatenpipelines, die KI-gesteuerte Personalisierung in großem Maßstab für die Content-Auswahl, Send-Time-Optimierung, Betreffzeilen-Personalisierung und Frequenzkappung ermöglichen
- Verantwortung und Skalierung von Spark-basierten Batch-Pipelines, einschließlich Cluster-Konfiguration, Tuning und Leistungsoptimierung auf GCP Dataproc
- Aufbau und Wartung unseres ML Data Lake, Gewährleistung von Datenqualität, Zugänglichkeit und effizienter Speicherung
- Unterstützung der Datenanforderungen von ML-Ingenieuren und Wissenschaftlern für Modellentwicklung, Training und Evaluierung
- Identifizierung und Behebung von Leistungsengpässen und Skalierungseinschränkungen in Datenpipelines und Infrastruktur
- Zusammenarbeit mit Distributed Systems Engineers an der architektonischen Weiterentwicklung der Plattform, um die Kontinuität der Datenebene zu gewährleisten
- Kontinuierliche Verbesserung der Dateninfrastruktur für höhere Skalierbarkeit und Zuverlässigkeit
- Bereitstellung von Features und Datenprodukten, die messbaren und greifbaren Geschäftswert liefern
Qualifikationen
- 5+ Jahre Erfahrung im Data Engineering
- Tiefgreifende Expertise mit Apache Spark, einschließlich des PySpark DataFrame API und Erfahrung in der Lösung anspruchsvoller Skalierungsprobleme
- Erfahrung mit groß angelegter Datenverarbeitung, Cluster-Konfiguration, Optimierung und Tuning (wir verwenden GCP Dataproc)
- Starke Softwareentwicklungsfähigkeiten in Python (Unit-Tests, git, Code-Reviews, CI/CD)
- Erfahrung mit Datenspeicherformaten (wir verwenden Parquet, Delta Lake)
- Erfahrung mit Event-Streaming-Daten (wir verwenden Kafka)
- Erfahrung mit Cloud-Computing-Plattformen (wir verwenden Google Cloud Platform)
- Erfahrung mit fortgeschrittener Abfrageoptimierung
- Vertrautheit mit Praktiken des Software Development Lifecycle, wie Continuous Integration/Continuous Delivery und automatisierte Bereitstellung (wir verwenden Docker, Kubernetes und GitHub Actions)
- Fähigkeit zur Zusammenarbeit mit technischen Partnern – Sie arbeiten eng mit ML-Ingenieuren, Wissenschaftlern und anderen Teams zusammen, um Anforderungen zu ermitteln und Designentscheidungen zu treffen
- Freude an der Arbeit in einem schnelllebigen, zielorientierten Umfeld
Die Gehaltsspanne für diese Position beträgt $144K CAD - 188K CAD/Jahr, die je nach letztendlich angebotener Position zusätzliche Boni beinhalten kann, zusätzlich zu einer vollständigen Palette von medizinischen, finanziellen und/oder anderen Leistungen.
Das angebotene Grundgehalt kann je nach berufsbezogenem Wissen, Fähigkeiten und Erfahrung variieren.
Studien haben gezeigt, dass Frauen, People of Color und historisch unterrepräsentierte Gruppen seltener Stellenangebote in Anspruch nehmen, es sei denn, sie erfüllen alle genannten Qualifikationen. Wir sind bestrebt, eine vielfältige und integrative Kultur aufzubauen, in der alle Inker erfolgreich sein können. Wenn Sie von der Rolle begeistert sind, aber nicht alle oben genannten Qualifikationen erfüllen, ermutigen wir Sie, sich zu bewerben. Unsere Unterschiede bringen eine Fülle von Wissen und Perspektiven mit, die uns gemeinsam stärker machen.
Wir begrüßen und beschäftigen Menschen unabhängig von Rasse, Hautfarbe, Geschlechtsidentität oder -ausdruck, Religion, genetischen Informationen, Eltern- oder Schwangerschaftsstatus, nationaler Herkunft, sexueller Orientierung, Alter, Staatsbürgerschaft, Familienstand, ethnischer Zugehörigkeit, Familien- oder Ehestand, körperlicher und geistiger Fähigkeiten, politischer Zugehörigkeit, Behinderung, Veteranenstatus oder anderen geschützten Merkmalen. Wir sind stolz darauf, ein Arbeitgeber der Chancengleichheit zu sein.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen