Vereinigte Staaten
SanMar- External
Normal Computing Corporation
Runtime Engineer
RemoteVereinigte Staaten
Palo Alto, California, United States
C++Rust
Automatische Übersetzung. Prüfe das Original.
Die Rolle
Normal Computing | Bauen Sie mit uns
Normal ist ein Unternehmen für angewandte KI, das die schwierigsten Probleme im Bereich KI und Halbleiter löst. Wir entwickeln grundlegende Hardware und Software für die Halbleiterindustrie, kritische KI-Infrastruktur und die umfassenderen Systeme, die unsere Welt antreiben – in Partnerschaft mit den fortschrittlichsten Institutionen der Welt. Wir arbeiten als ein Team an den Standorten New York City, Silicon Valley (Mountain View), London, Kopenhagen und Seoul.
Die Hardware von Normal führt die speicherintensivsten Teile der Large-Model-Inferenz direkt im Speicher aus, anstatt Gewichte an einen Prozessor zu übertragen. Die Software, die dies programmierbar macht, existiert bisher in keiner Standardform. Die Runtime ist die Schicht, durch die der Rest dieser Software läuft: Sie steuert, wie kompilierte Programme geladen, geplant und auf unserer Hardware ausgeführt werden. Sie verantworten deren Design sowie einen Großteil der Implementierung und geben die technische Richtung vor.
Dies ist eine Senior-Position mit praktischem Fokus. Da unser Chip sich noch im Pre-Silicon-Stadium befindet, entwickeln Sie die Runtime zunächst für unsere Simulatoren und FPGA-Prototypen hinter einer einheitlichen Schnittstelle, damit sich die Software oberhalb der Runtime nicht ändert, sobald das Silizium verfügbar ist.
Ihre Aufgaben
- Runtime-Architektur: Sie verantworten das Design der Runtime: Gerätemanagement, Speicherzuweisung und Host-Device-Transfer, Laden von ausführbaren Dateien sowie Command Submission. Erfolg bedeutet, dass der Compiler und die Serving-Layer unsere Hardware über eine stabile Schnittstelle programmieren.
- Hardware-Abstraktion: Sie verbergen die Unterschiede zwischen Simulatoren, FPGA-Prototypen, Silizium und späteren Hardware-Generationen hinter dieser Schnittstelle.
- Gerätestatus: Sie verwalten den Status, der zwischen Anfragen auf unserer Hardware verbleibt, wie z. B. residente Modellgewichte, damit sich die Serving-Layer darauf verlassen können.
- Performance: Sie halten den Runtime-Overhead vom kritischen Pfad für LLM-Inferenz fern, gemessen an End-to-End-Latenz und Durchsatz.
- Teamübergreifende Schnittstellen: Sie definieren die Grenze zum Compiler oberhalb der Runtime sowie zum Treiber und zur Firmware unterhalb, welche von unserem Hardware-Team verantwortet werden.
- Technische Führung: Sie geben die technische Richtung der Runtime vor, prüfen darauf basierende Designs und arbeiten mit Compiler- und Serving-Ingenieuren zusammen, damit die Schnittstelle deren Anforderungen erfüllt.
Was Sie mitbringen
- Erfahrung in der Entwicklung von Runtimes, Treibern oder Hardware-Abstraktionsschichten für Beschleuniger oder andere nicht standardisierte Hardware
- Fundierte Kenntnisse in der Systemprogrammierung mit C++ oder Rust: Speicherverwaltung, Nebenläufigkeit und Low-Level-Performance
- Nachweisbare Erfolge bei der End-to-End-Verantwortung für komplexe Systemkomponenten, vom Design bis zur Produktion, sowie bei der Steuerung technischer Entscheidungen über Teams hinweg
- Verständnis für LLM-Inferenz-Workloads und deren Anforderungen an eine Runtime
- Sicherheit in der Softwareentwicklung für Hardware, die sich noch in der Entwicklung befindet, von der Simulation bis zum Bring-up
Bonus
- Erfahrung mit Open-Runtime-Designs wie IREE HAL oder mit den Interna von CUDA- oder ROCm-Runtimes
- Erfahrung mit In-Memory-Computing oder anderer Nicht-von-Neumann-Hardware
- Erfahrung bei der Integration einer Runtime in einen Inferenz-Server wie vLLM
- Beiträge zu Open-Source-Runtime- oder Systeminfrastruktur-Projekten
Erklärung zur Chancengleichheit
Normal Computing ist ein Arbeitgeber, der Chancengleichheit fördert. Wir feiern Vielfalt und setzen uns für ein integratives Umfeld für alle Mitarbeiter ein. Alle qualifizierten Bewerber werden unabhängig von Rasse, Hautfarbe, Religion, Geschlecht, sexueller Orientierung, Geschlechtsidentität, nationaler Herkunft, Behinderung, Veteranenstatus oder einem anderen gesetzlich geschützten Status berücksichtigt.
Barrierefreiheit und Anpassungen
Normal Computing verpflichtet sich, angemessene Anpassungen für Menschen mit Behinderungen bereitzustellen. Wenn Sie aufgrund einer Behinderung Unterstützung oder Anpassungen benötigen, lassen Sie es uns bitte unter [email protected] wissen.
Datenschutzhinweis
Mit dem Einreichen Ihrer Bewerbung erklären Sie sich damit einverstanden, dass Normal Computing Ihre personenbezogenen Daten für beschäftigungsbezogene Zwecke gemäß unserem Datenschutzhinweis für Bewerber erheben, verwenden und speichern darf.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen