(Senior/Junior) AI Inference Reliability Engineer, Compute Infra

Wir suchen einen Software-Ingenieur, der zuverlässigkeitsorientiert ist, aber dennoch gerne baut, um die Verantwortung für die produktive Kubernetes-native Steuerungsebene zu übernehmen, die unsere GPU-Inferenz-Flotte bereitstellt und betreibt. Das Plattform-Team entwickelt die manifestgesteuerte API und die Controller, die es dem Inferenz-Team ermöglichen, ihre Anforderungen – wie Cluster, Modellbereitstellung oder Kapazitätsänderungen – zu definieren und diese im Hintergrund abgleichen zu lassen. Ihre Aufgabe ist es, dieses Versprechen in der Praxis einzuhalten: Sie trieren InfiniBand-Probleme, wenn Prefill- und Decode-Knoten beim Austausch von KV-Cache über RDMA ins Stocken geraten, diagnostizieren Fehler bei Hero-Modellen und LoRA-Serving, die in allgemeinen Gesundheitschecks nicht auftauchen, und erweitern das automatisierte Selbstheilungssystem, damit jeder neue Fehlertyp dauerhaft behoben wird, anstatt wiederkehrende Alarme auszulösen.

Unser Kernwert ist es, die Entkopplung auch bei Störungen aufrechtzuerhalten und die Flotte effizient zu betreiben, ohne dass diese Effizienz zu einer neuen Instabilitätsquelle wird. Sie verantworten SLOs und Fehlerbudgets für das Inferenz-Serving, leiten die Incident-Reaktion und setzen die Erkenntnisse aus Postmortems in tatsächliche Änderungen an den Controllern und der Automatisierung um, anstatt nur Runbooks zu aktualisieren. Sie kümmern sich zudem um die Zuverlässigkeit im Bereich der Kapazitätseffizienz, da eine falsch abgestimmte Defragmentierung oder ein fehlerhaftes Bin-Packing-Verfahren selbst ein Produktionsrisiko darstellt. Starke Kandidaten verfügen über praktische Erfahrung in der Produktionszuverlässigkeit bei großen verteilten oder GPU-basierten Systemen, sind sicher in der Fehlerbehebung von InfiniBand/RDMA und Kubernetes-Controller/CRD-basierten Plattformen und betrachten GPU-Infrastruktur sowie die Tools zu deren Absicherung als Software, die entwickelt werden muss.

Eine Produktmentalität ist hierbei entscheidend: Die On-Call-Erfahrung, die Klarheit eines Alarms und das Urteilsvermögen, das in eine automatisierte Fehlerbehebung einfließt, sind Dinge, die Sie ausliefern und kontinuierlich verbessern.

Wir bieten eine wettbewerbsfähige Vergütung, Startup-Anteile, Krankenversicherung und weitere attraktive Leistungen. Die US-Basisgehaltsspanne für diese Vollzeitstelle liegt bei: $160,000 - $280,000 + Anteile + Leistungen. Unsere Gehaltsspannen werden basierend auf Standort, Level und Rolle festgelegt. Die individuelle Vergütung richtet sich nach Erfahrung, Fähigkeiten und arbeitsbezogenem Wissen.

Together AI ist ein Arbeitgeber, der Chancengleichheit fördert, und ist stolz darauf, jedem unabhängig von Rasse, Hautfarbe, Abstammung, Religion, Geschlecht, nationaler Herkunft, sexueller Orientierung, Alter, Staatsbürgerschaft, Familienstand, Behinderung, Geschlechtsidentität, Veteranenstatus und mehr gleiche Beschäftigungsmöglichkeiten zu bieten.

Bitte lesen Sie unsere Datenschutzrichtlinie unter together.ai/privacy.