Vereinigte Staaten
Redwood Materials
True Talent Solutions Partners
Member of Technical Staff
Vereinigte Staaten
San Francisco, California, United States
Python
Automatische Übersetzung. Prüfe das Original.
Über die Rolle
Treten Sie einem kleinen Team bei, das KI-Infrastruktur entwickelt, um die Leistung und Effizienz der Inferenz von Open-Source-Modellen zu verbessern. Sie werden an Modellen, Serving-Systemen, Kernels und Produktionsinfrastruktur arbeiten, um eine zuverlässige und kostengünstige Inferenz auf verschiedenen Hardwareplattformen zu ermöglichen.
Was Sie tun werden
- Liefern Sie Day-Zero-Support für neue Open-Source-Modelle und optimieren Sie diese für Latenz und Durchsatz.
- Optimieren Sie Serving-Systeme durch Techniken wie Batching, KV-Caching, spekulatives Dekodieren und Quantisierung.
- Schreiben und optimieren Sie Kernels mit CUDA, HIP und Triton auf einer Reihe von Beschleunigerplattformen.
- Entwerfen, implementieren und betreiben Sie heterogene Cluster über Infrastrukturanbieter hinweg.
- Führen Sie Produktionsinferenzen auf gemischten Hardwareflotten durch und verbessern Sie Zuverlässigkeit, Beobachtbarkeit und Kosten pro Token.
- Arbeiten Sie mit Kunden und dem Engineering-Team zusammen, um Probleme zu identifizieren und Lösungen zu entwickeln.
Was wir suchen
- Ein bis sechs Jahre Erfahrung, mit starker System-, backend-, Infrastruktur- oder Low-Level-Engineering-Erfahrung.
- Starkes Verständnis von Computerarchitektur, Speicherhierarchien und Betriebssysteminterna.
- Erfahrung in der End-to-End-Verantwortung für komplexe Systeme, bemerkenswerte technische Erfolge oder eine nachweisliche schnelle Weiterentwicklung.
- Starke Grundlagen in Informatik im Bachelorstudium und Erfahrung in einem hochkarätigen Technologieunternehmen oder einem frühen Startup.
- Verfügbar für einen sofortigen Start und die Arbeit vor Ort in San Francisco.
- Vertrautheit mit CUDA, HIP, Triton, Python oder GPU-Programmierung; Erfahrung mit Inferenzoptimierung und groß angelegter Infrastruktur ist von Vorteil.
- Erfahrung mit KI-Agenten und Coding-Tools zur Verbesserung von Engineering-Workflows sowie Komfort bei der Kommunikation mit Kunden.
Vergütung & Leistungen
Das Grundgehalt beträgt jährlich $200,000 bis $300,000 USD. Visastellplätze sind verfügbar.
Standort
Vor Ort in San Francisco, Kalifornien, Vereinigte Staaten.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen