Senior ML Infrastructure Engineer

SambaNova ist ein führender Anbieter von KI-Infrastruktur der nächsten Generation und liefert eine full-stack-Inferenzplattform für Kunden weltweit. Im Kern der Technologie von SambaNova steht die RDU (Reconfigurable Dataflow Unit) – ein Chip, der auf einer Dataflow-Architektur und nicht auf dem traditionellen GPU-Modell basiert. Ihre Dekodierungsleistung ist besonders stark für agentenbasierte Workloads wie Multi-Turn-Agenten, Code-Generierung und langlaufende Anwendungen. RDUs sind in SambaRack, Rack-Scale-Hardware, verpackt, die es Kunden ermöglicht, hochmoderne Modelle mit besserer Leistung, größerer Energieeffizienz und schnellerer Wertschöpfung einzusetzen.

Das ML-Infrastrukturteam entwickelt und betreibt den Inferenz-Stack, der die Modelle von SambaNova auf RDU-Beschleunigern bedient, von der Anforderungsplanung und dem Caching über die öffentlichen APIs in SambaStack und SambaCloud. Wir übernehmen Inferenztechniken wie spekulatives Dekodieren, eingeschränktes Dekodieren und Long-Context-Serving vom Prototyp bis zur Produktion und verantworten die Genauigkeitsinfrastruktur, die jede von uns ausgelieferte Funktion steuert. Wir arbeiten eng mit den ML-, Compiler-, Runtime- und Produktteams zusammen, da die meisten unserer Entwicklungen alle vier Bereiche berühren.

ÜBER DIE ROLLE

Der Senior Software Engineer, ML Infrastructure ist verantwortlich für das Design, die Entwicklung und den Betrieb der produktionsreifen Inferenzinfrastruktur, die den Serving-Stack von SambaNova auf unserer Reconfigurable Dataflow Unit (RDU)-Architektur antreibt. SambaNova ist ein Inferenz-first-Unternehmen, und diese Rolle steht im Mittelpunkt dieser Mission: hochmoderne Inferenztechniken in zuverlässige, durchsatzstarke Dienste mit geringer Latenz umzuwandeln, die Kunden über SambaStack und SambaCloud zur Verfügung gestellt werden. Der Ingenieur wird End-to-End-Systeme verantworten, die Anforderungsplanung, fortschrittliche Dekodierungsalgorithmen, Caching-Schichten, API-Oberflächen und die Genauigkeitsinfrastruktur umfassen, die den Stack vertrauenswürdig hält. Diese Rolle arbeitet eng mit den ML-, Compiler-, Runtime- und Produktteams zusammen, um Inferenzfunktionen vom Prototyp bis zur Produktion zu liefern.

Grundgehaltsspanne $200,000—$275,000 USD

Einreichungsrichtlinien

Bitte beachten Sie, dass Sie, um als Bewerber für eine Position bei SambaNova Systems in Betracht gezogen zu werden, für jede Position, für die Sie sich qualifiziert halten, ein Bewerbungsformular einreichen müssen.

EEO-Richtlinie

SambaNova Systems ist ein Arbeitgeber, der Chancengleichheit und positive Maßnahmen fördert. Alle qualifizierten Bewerber erhalten eine Anstellung ohne Rücksicht auf Alter (40 und älter), Hautfarbe, Behinderung, Geschlechtsidentität, genetische Informationen, Familienstand, Militär- oder Veteranenstatus, nationale Herkunft/Abstammung, Rasse, Religion, Glaubensbekenntnis, Geschlecht (einschließlich Schwangerschaft, Geburt, Stillen), sexuelle Orientierung und jeden anderen anwendbaren Status, der durch Bundes-, Landes- oder lokale Gesetze geschützt ist.

SambaNova bietet ein wettbewerbsfähiges Gesamtvergütungspaket, einschließlich des Grundgehalts sowie Aktienoptionen und Leistungen. Wir übernehmen die Kosten für 95% der Versicherungsprämien für die medizinische Versorgung der Mitarbeiter und 77% der Versicherungsprämien für Angehörige und bieten ein Health Savings Account (HSA) mit Arbeitgeberbeiträgen an. Wir bieten außerdem Zahn-, Augen-, Kurz-/Langzeitinvaliditäts-, Grundlebens-, freiwillige Lebens- und AD&D-Versicherungspläne zusätzlich zu Flexible Spending Account (FSA)-Optionen wie Gesundheitswesen, eingeschränkten Zweck und Kinderbetreuung an. Unsere Bibliothek an Wohlfühlleistungen, die Ihnen und Ihren Angehörigen zur Verfügung steht, umfasst ein vollständiges Headspace-Abonnement, eine Gympass+-Mitgliedschaft mit Zugang zu Fitnessstudios, eine One Medical-Mitgliedschaft, Beratungsdienste mit einem Employee Assistance Program und vieles mehr.