Vereinigte Staaten
Temple Health
Roblox
Senior Software Engineer, Data Infrastructure Compute
Vereinigte Staaten
San Mateo, California, United States
PythonJavaAWSGCPKubernetesGoTerraform
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Jeden Tag kommen zig Millionen Menschen zu Roblox, um in 3D-immersiven digitalen Erlebnissen zu forschen, zu gestalten, zu spielen, zu lernen und sich mit Freunden zu vernetzen – alles erschaffen von unserer globalen Community aus Entwicklern und Creatorn.
Bei Roblox entwickeln wir die Tools und die Plattform, die es unserer Community ermöglichen, jede erdenkliche Erfahrung zum Leben zu erwecken. Unsere Vision ist es, die Art und Weise, wie Menschen von überall auf der Welt und auf jedem Gerät zusammenkommen, neu zu gestalten. Wir haben es uns zur Aufgabe gemacht, eine Milliarde Menschen mit Optimismus und Zivilität zu verbinden, und suchen nach herausragenden Talenten, die uns dabei unterstützen.
Eine Karriere bei Roblox bedeutet, dass Sie die Zukunft der menschlichen Interaktion mitgestalten, einzigartige technische Herausforderungen in großem Maßstab lösen und dazu beitragen, sicherere und zivilisiertere gemeinsame Erlebnisse für alle zu schaffen.
Die Datenplattform von Roblox verarbeitet täglich Petabytes an Daten und treibt Analysen, ML und Produktentscheidungen voran. Das Data Platform Compute-Team verantwortet die darunterliegende Compute-Schicht: die Kubernetes (EKS)-Cluster, auf denen alle Spark-Workloads von Roblox laufen, sowie die Software, die es Ingenieuren, Analysten und ML-Praktikern ermöglicht, diese Arbeiten zuverlässig und kosteneffizient einzureichen und auszuführen.
Als Senior Software Engineer in diesem Team entwickeln und betreiben Sie die Systeme, die zwischen unseren Nutzern und dem Cluster stehen. Dazu gehören der Spark-Job-Submission-Service, unsere internen Spark-Bibliotheken, interaktive Notebook-Compute-Umgebungen und die Automatisierung des Cluster-Lebenszyklus. Sie übernehmen echte Verantwortung, arbeiten an Problemen, für die das Design noch nicht festgelegt ist, und helfen bei der Entscheidung, welche Technologien Roblox als Nächstes einführt.
Ihre Aufgaben
- Aufbau und Verantwortung für zentrale Compute-Plattformdienste: Sie entwerfen, bauen und betreiben die Software hinter der Spark-Job-Submission, einschließlich APIs, Scheduling-Integration und der Bibliotheken, auf die sich die Nutzer verlassen.
- Bereitstellung interaktiver Spark-Umgebungen in großem Maßstab: Sie liefern Spark Connect zur Unterstützung von Notebook-Workflows, einschließlich der Bereitstellung und Verwaltung des EKS-Computes, das diese unterstützt, mit sinnvoller Isolierung, Ressourcenbeschränkungen und Kostenkontrollen.
- Betrieb einer sicheren, automatisierten Cluster-Flotte: Sie entwickeln eine Automatisierung für das Flottenmanagement von EKS, wie z. B. Blue-Green-Rollouts, die neue AMIs und Kubernetes-Versionen validieren, bevor sie produktive Workloads erreichen, bei minimaler Unterbrechung laufender Jobs.
- Optimierung der Job-Ausführung ohne Nutzeraufwand: Sie entwickeln unseren Auto-Tuner, der Spark-Historien und Ereignisprotokolle analysiert, um Konfigurationsänderungen für Jobs zu empfehlen oder anzuwenden, die die Leistung verbessern und die Kosten senken.
- Verantwortung für das Batch-Scheduling auf Kubernetes: Sie betreiben und aktualisieren unser YuniKorn-basiertes Scheduling, einschließlich Queue-Design, Quoten, Fairness zwischen Mandanten und Versions-Upgrades.
- Mitgestaltung zukünftiger Technologien: Sie evaluieren aufkommende Technologien wie native Spark-Beschleunigung (z. B. Apache Comet). Sie führen strenge Benchmarks mit echten Roblox-Workloads durch und geben eine klare, datengestützte Empfehlung ab.
- Verantwortung für Zuverlässigkeit und Kosten: Sie definieren SLOs und Metriken, bauen Observability auf und reduzieren manuellen Aufwand, Vorfälle und Compute-Ausgaben auf einer Multi-Tenant-Plattform.
- Unternehmensweite Zusammenarbeit: Sie arbeiten mit Data-Engineering-, ML-, Analytics- und Infrastruktur-Teams zusammen, um deren Bedürfnisse zu verstehen, Änderungen zu kommunizieren und Nutzer auf bessere Pfade zu migrieren.
Das bringen Sie mit
- 5+ Jahre Erfahrung in der Entwicklung und dem Betrieb von verteilten Systemen oder Infrastrukturplattformen auf Produktionsebene.
- Spark auf Kubernetes: Praktische Erfahrung im Betrieb von Apache Spark auf Kubernetes (EKS, GKE oder selbstverwaltet) als Plattform, einschließlich Executor- und Driver-Verhalten, Ressourcen-Tuning und Fehlerbehebung bei fehlgeschlagenen oder langsamen Jobs. Wir suchen Plattform-Entwickler, nicht nur Spark-Nutzer.
- Kubernetes-Expertise: Fundierte Erfahrung im Betrieb von produktiven Kubernetes-Clustern in großem Maßstab, wie z. B. Upgrades, Node-Lebenszyklus, Autoscaling und Operatoren oder Controller.
- Fundierte Ingenieurskenntnisse: Starke Kenntnisse in mindestens einer der Sprachen Go, Java, Scala oder Clojure, mit nachweislicher Erfahrung im Schreiben von sauberem, gut getestetem und wartbarem backend-Code. Python ist ein Plus, da ein Großteil unserer Tuning- und Analyse-Tools darauf basiert.
- Cloud-Kenntnisse: Erfahrung mit AWS (EKS, EC2, IAM, S3) oder GCP-Äquivalenten sowie Infrastructure-as-Code.
- Operative Verantwortung: Erfahrung darin, ein System vom Design bis zum produktiven Betrieb zu führen, einschließlich On-Call, Incident-Response und Observability.
- Technische Führung: Fähigkeit, Designentscheidungen teamübergreifend zu beeinflussen, Ingenieure zu betreuen und die Abstimmung bei bereichsübergreifenden Änderungen voranzutreiben.
- Bachelor-Abschluss in Informatik oder eine vergleichbare praktische Erfahrung.
Bonus-Punkte
- Erfahrung mit YuniKorn, Volcano, Kueue oder anderen Batch-Schedulern auf Kubernetes.
- Erfahrung mit Spark Connect, Livy, Kyuubi oder anderen interaktiven und Gateway-Schichten für Spark.
- Erfahrung mit dem Spark Operator, Karpenter, Helm, Terraform oder Argo.
- Erfahrung in der Entwicklung von Tools, die Spark-Ereignisprotokolle oder Metriken für Tuning, Kostenzuordnung oder Anomalieerkennung nutzen.
- Erfahrung in der Wartung interner Spark-Builds oder bei der Durchführung von Spark-Versions-Upgrades.
- Vertrautheit mit nativen Execution-Engines (Comet, Gluten, Velox) oder JVM-Performance-Tuning.
- Erfahrung bei der Migration von Workloads von YARN/Hadoop zu Kubernetes.
- Beiträge zu Open-Source-Projekten im Daten- oder Kubernetes-Ökosystem.
- Erfahrung im Betrieb in einem Consumer-Internet-Maßstab (100M+ Nutzer).
Jährliche Gehaltsspanne
Für Rollen an unserem Hauptsitz in San Mateo, CA: Das anfängliche Grundgehalt für diese Position ist wie unten angegeben. Das tatsächliche Grundgehalt hängt von einer Vielzahl berufsbezogener Faktoren ab, wie z. B. beruflicher Hintergrund, Ausbildung, Arbeitserfahrung, Standort, geschäftliche Anforderungen und Marktnachfrage. Daher kann das tatsächliche Gehalt unter Umständen außerhalb dieser erwarteten Spanne liegen. Diese Gehaltsspanne kann sich ändern und in Zukunft angepasst werden. Alle Vollzeitmitarbeiter haben zudem Anspruch auf eine Aktienvergütung sowie auf Leistungen, wie sie auf dieser Seite beschrieben sind.
$243,290—$295,250 USD
Rollen, die bürobasiert sind, sind dienstags, mittwochs und donnerstags vor Ort, mit optionaler Präsenz am Montag und Freitag (sofern nicht anders angegeben).
Roblox bietet allen Mitarbeitern und Bewerbern Chancengleichheit und verbietet Diskriminierung und Belästigung jeglicher Art, unabhängig von Rasse, Hautfarbe, Religion, Alter, Geschlecht, nationaler Herkunft, Behinderung, Genetik, geschütztem Veteranenstatus, sexueller Orientierung, Geschlechtsidentität oder -ausdruck oder anderen durch Bundes-, Landes- oder lokale Gesetze geschützten Merkmalen. Roblox bietet zudem angemessene Vorkehrungen für Kandidaten mit qualifizierenden Behinderungen oder religiösen Überzeugungen während des Rekrutierungsprozesses.
Bitte beachten Sie für Rollen in den USA, dass das Unternehmen möglicherweise keine Kandidaten für diese Rolle einstellen kann, die über eine Arbeitserlaubnis für die Vereinigten Staaten im Zusammenhang mit bestimmten US-Visakategorien verfügen, oder derzeit keine zukünftige H-1B-Sponsorenschaft unterstützen kann.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen