Index Exchange

Staff Engineer, Data Platform & Infrastructure

SQLDockerKubernetes
Automatische Übersetzung. Prüfe das Original.

Über die Stelle

Bei Index Exchange erfinden wir die digitale Werbung neu – und das in großem Maßstab. Als globale Supply-Side-Plattform für Werbung unterstützen wir die weltweit führenden Medieninhaber und Vermarkter dabei, in einem programmatischen, datenschutzorientierten Ökosystem erfolgreich zu sein.

Wir sind stolz darauf, ein Pionier der Branche mit über 20 Jahren Erfahrung in der Beschleunigung der Entwicklung von Werbetechnologien zu sein. Unsere proprietäre Technologie genießt das Vertrauen einiger der weltweit größten Marken und Medieninhaber und spielt eine entscheidende Rolle dabei, das Internet offen, zugänglich und weitgehend kostenlos zu halten.

Wir verarbeiten täglich mehr als 550 Milliarden Echtzeit-Auktionen (zum Vergleich: Google verarbeitet täglich 8.5 Milliarden Suchanfragen) mit extrem niedriger Latenz. Unsere Plattform ist von den Servern bis zu den Netzwerken vertikal integriert und läuft hauptsächlich auf unserer eigenen Hardware und Cloud-Infrastruktur. Diese End-to-End-Infrastruktur ist darauf ausgelegt, sowohl Stabilität als auch Agilität zu bieten, damit wir uns schnell an die Marktentwicklungen anpassen können.

Im Mittelpunkt steht unsere Engineering-First-Kultur. Unsere Ingenieure bewältigen Probleme im Internet-Maßstab in eng vernetzten, globalen Teams. Vom Verschieben von Petabytes an Daten und der Optimierung mit KI bis hin zu strategischen Infrastrukturentscheidungen in Echtzeit – bei Index haben unsere Mitarbeiter den Handlungsspielraum und den Einfluss, die Zukunft der Werbung zu gestalten. Wir arbeiten schnell, bauen durchdacht und bleiben unseren Grundwerten treu.

Über die Rolle

Wir suchen einen Staff Data Engineer, der die Datenverarbeitungs- und Pipeline-Schicht aufbaut und weiterentwickelt, die bei Index Exchange für Reporting, Abrechnungssysteme und Echtzeit-Datenströme zuständig ist.

Diese Rolle konzentriert sich auf das Design und den Betrieb von Batch- und Streaming-Datenpipelines im großen Maßstab, um eine zuverlässige, skalierbare und effiziente Datentransformation über die gesamte Plattform hinweg zu ermöglichen.

Sie arbeiten an Systemen, die rohe, hochvolumige Ereignisdaten in saubere, abfragbare und produktionsreife Datensätze umwandeln.

Das werden Sie tun

Sie arbeiten an hochskalierbaren Datensystemen, die:

  1. Milliarden von Ereignissen pro Tag über verteilte Pipelines verarbeiten
  1. Die zentrale Datenplattform für Konsumenten (Reporting, Abrechnung, MLO-Teams) unterstützen
  1. Über Batch- (Spark) und Streaming- (Kafka / Flink) Architekturen hinweg operieren
  1. Ein sorgfältiges Abwägen erfordern von:
  1. Datenkorrektheit
  1. Verarbeitungseffizienz
  1. Kompromissen zwischen Latenz und Kosten

Sie lösen Probleme wie:

  1. Design von Pipelines, die skalieren, ohne die Rechenkosten explodieren zu lassen
  1. Verwaltung der Datenkorrektheit im großen Maßstab (Deduplizierung, verspätete Daten, Joins)
  1. Aufbau von Systemen, die beides unterstützen:
  1. Historische Backfills
  1. Nahezu Echtzeit-Updates
  1. Weiterentwicklung von Pipelines von zentralisierter Verarbeitung (Hadoop) hin zu verteilteren und effizienteren Mustern
  1. Streaming-Pipelines und Streaming-Data-Warehouses.

Erwartungen an das Staff-Level

  1. Definition von Standards und Mustern für die Datenverarbeitung über Teams hinweg
  1. Leitung von groß angelegten Pipeline- und Plattform-Initiativen
  1. Einflussnahme auf Entscheidungen zur Datenarchitektur und Modellierung
  1. Vorantreiben von Verbesserungen in Bezug auf:
  1. Zuverlässigkeit
  1. Kosteneffizienz
  1. Skalierbarkeit

Das werden Sie tun

Datenpipelines (Batch + Streaming)

  1. Design und Betrieb von Pipelines unter Verwendung von:
  1. Spark, Flink etc.
  1. Kafka / Flink (Streaming)
  1. Umwandlung von rohen Ereignisdaten in:
  1. Bereinigte Datensätze (Silver Layer)
  1. Geschäftsreife Datensätze (Gold / Reporting-Tabellen)

Kern-Datenmodelle & Datensätze

  1. Aufbau und Pflege kanonischer Datensätze (aggregierte Datensätze, Reporting-Tabellen)
  1. Definition von Datenverträgen und Sicherstellung der Konsistenz über Pipelines hinweg
  1. Unterstützung sich entwickelnder Anwendungsfälle:
  1. Reporting
  1. Abrechnung
  1. ML / Experimente

Workflow-Orchestrierung

  1. Aufbau und Pflege von Airflow DAGs für:
  1. Pipeline-Planung
  1. Abhängigkeitsmanagement
  1. Backfills
  1. Verbesserung der Zuverlässigkeit und Beobachtbarkeit von Workflows

Optimierung der Datenverarbeitung

  1. Optimierung von Pipelines für:
  1. Leistung (Laufzeit, Durchsatz)
  1. Kosten (Recheneffizienz)
  1. Skalierbarkeit (Datenwachstum)
  1. Verbesserung von:
  1. Partitionierungsstrategien
  1. Datenlayout
  1. Job-Ausführungsmustern

Streaming & Near-Real-Time-Pipelines

  1. Aufbau von Pipelines, die Folgendes unterstützen:
  1. Inkrementelle Updates
  1. Streaming-Transformationen
  1. Aggregation im großen Maßstab
  1. Beitrag zur Entwicklung von Mustern wie:
  1. Edge-Aggregation
  1. Konvergenz von Streaming und Batch
  1. Echtzeit-Datenverfügbarkeit

Verantwortlichkeiten für Plattform- und Systemdesign

  1. Definition und Weiterentwicklung von Datenverarbeitungsmustern:
  1. Batch vs. Streaming
  1. Aggregationsstrategien
  1. Inkrementelle vs. vollständige Neuberechnung
  1. Arbeit mit:
  1. Spark (Kernverarbeitung)
  1. Kafka (Transport)
  1. Flink (Streaming-Berechnung)
  1. Speichersystemen (Hadoop / Ceph)
  1. Kubernetes
  1. Beitrag zu:
  1. Entscheidungen zur Datenplattform-Architektur
  1. Pipeline-Standardisierung
  1. Wiederverwendbare Frameworks für die Datenverarbeitung
  1. Einflussnahme auf Kompromisse:
  1. Latenz vs. Kosten
  1. Korrektheit vs. Leistung
  1. Rechenleistung vs. Speicher

Sie arbeiten eng zusammen mit:

  1. Data Products
  1. ML- und Experimentier-Teams
  1. Infrastruktur- und On-Prem-Systemteams

Was wir suchen

  1. Fundierte Erfahrung im Data Engineering im großen Maßstab
  1. Tiefgreifende Expertise in:
  1. Frameworks für verteilte Datenverarbeitung
  1. SQL und Datenmodellierung
  1. Leitung von Projekten von Anfang bis Ende
  1. Erfahrung mit:
  1. Airflow oder Workflow-Orchestrierung
  1. Kafka oder Streaming-Systemen
  1. Verwaltung von kubernetes
  1. Starkes Verständnis von:
  1. Verteilter Datenverarbeitung
  1. Datenmodellierung (große Datensätze)
  1. Leistungsoptimierung
  1. Fähigkeit:
  1. Pipelines von Anfang bis Ende zu verantworten
  1. Komplexe Datenprobleme zu debuggen
  1. In hochskalierbaren, sich entwickelnden Umgebungen zu arbeiten

Das bringen Sie mit

  1. Bachelor-/Master-Abschluss in Informatik oder einem verwandten Ingenieursbereich
  1. 8+ Jahre Erfahrung als Software Engineer in der Entwicklung von verteilten Softwareprodukten auf Unternehmensebene im großen Maßstab
  1. 3+ Jahre Berufserfahrung im Design und Aufbau von Hochleistungs-Datenpipelines und Anwendungen unter Verwendung von Hadoop/Ceph, Spark/Flink, Hive, Presto/Trino, Kafka, StarRocks/Vertica, Airflow, Kubernetes oder anderen ähnlichen Technologien
  1. Tiefgreifendes Verständnis der Designprinzipien verteilter Systeme im großen Maßstab und Vertrautheit mit gängigen Big-Data-Technologien und verteilten Frameworks
  1. Starke Führungs-, Mentoring- und Kommunikationsfähigkeiten sowie Erfahrung in der Zusammenarbeit in einem global verteilten, kulturell vielfältigen Team
  1. Kenntnisse in Datenmodellierung, Data Warehousing, Streaming-Datenverarbeitung und Business-Intelligence-Reporting-Tools
  1. Erfahrung in der Arbeit mit agilen Methoden sowie Continuous Integration und Delivery als CI/CD
  1. Erfahrung in der Arbeit mit Containerisierung und Virtualisierungstools wie Kubernetes und Docker

Warum Sie hier gerne arbeiten werden

  • Umfassende Kranken-, Zahn- und Vorsorgepläne für Sie und Ihre Angehörigen
  • Bezahlter Urlaub, Gesundheitstage und Tage für persönliche Verpflichtungen sowie flexible Arbeitszeitmodelle
  • Wettbewerbsfähige Pläne zur betrieblichen Altersvorsorge
  • Aktienoptionen
  • Großzügige Elternzeit für gebärende, nicht-gebärende und adoptierende Eltern
  • Jährlicher Zuschuss zum Wohlbefinden sowie Fitnessrabatte und Gruppen-Wellness-Aktivitäten
  • Pendler-Vorteile und Rabatte, sofern verfügbar
  • Mitarbeiterunterstützungsprogramm
  • Programm für psychische Erste Hilfe, das sofortige Ansprechpartner und Unterstützung bietet
  • Ein Tag bezahlter Freiwilligenarbeit pro Jahr und ein Programm zur Verdoppelung von Spenden
  • Zweiwöchentliche Town-Hall-Meetings und regelmäßige, von der Community geleitete Teamevents
  • Zahlreiche Ressourcen und Programme zur Unterstützung kontinuierlichen Lernens

Chancengleichheit

Bei Index Exchange glauben wir, dass erfolgreiche Produkte von Teams gebaut werden, die genauso vielfältig sind wie das Publikum, das sie nutzt. Daher verpflichten wir uns zu Chancengleichheit. Wir feiern Vielfalt in Bezug auf Rasse, Hautfarbe, Abstammung, Religion, Geschlecht, nationale Herkunft, sexuelle Orientierung, Alter, Staatsbürgerschaft, Familienstand, Behinderung, Geschlechtsidentität oder -ausdruck oder Veteranenstatus. Darüber hinaus erkennen wir, dass Vielfalt tiefer geht als jeder Status oder jede Klassifizierung – Vielfalt ist die menschliche Erfahrung. Für diejenigen, die Biss, Leidenschaft und Bescheidenheit zeigen – Index heißt Sie willkommen.

Barrierefreiheit für Bewerber mit Behinderungen

Index Exchange begrüßt und ermutigt Menschen mit Behinderungen, sich bei uns zu bewerben.

Wenn Sie eine Anpassung benötigen, teilen Sie bitte die Details Ihrer Anfrage und Informationen darüber, wie wir Sie unterstützen können, dem einstellenden Recruiter mit, wenn dieser Sie kontaktiert. Index Exchange wird angemessene Anstrengungen unternehmen, um sicherzustellen, dass Anfragen nach Anpassungen während des gesamten Rekrutierungsprozesses erfüllt werden.

Index Everywhere, Index Anywhere

Unser Hauptsitz befindet sich in Toronto, mit großen Niederlassungen in New York, Montreal, Kitchener, London, San Francisco und vielen anderen globalen Städten. Als bedeutende globale Werbebörse verpflichten wir uns dazu, als eng vernetztes globales Team zu agieren und Talente überall dort zu unterstützen und zu fördern, wo unsere Kollegen auch sein mögen.

KI-Haftungsausschluss: Automatisierte Tools, einschließlich künstlicher Intelligenz, können verwendet werden, um bei der Prüfung und Bewertung von Bewerbern für diese Rolle zu helfen. Alle Einstellungsentscheidungen beinhalten eine menschliche Überprüfung.

Status der Vakanz: Diese Ausschreibung bezieht sich auf eine bestehende Vakanz.

#LI-ONSIGHT

#LI-HF1

Mehr Möglichkeiten mit einem Profil

Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.

Profil erstellen

Dein nächster Jobsucht schon nach dir.

Nort

Reverse-Recruiting- Plattform für Entwickler

RechtlichesNutzungsbedingungenDatenschutznortjobs © 2026