Vereinigte Staaten
HEARTLAND BUSINESS SYSTEMS LLC
Majestic Labs
LLM Inference Engineer
Vereinigte Staaten
Los Altos, California, United States
PythonC++
Automatische Übersetzung. Prüfe das Original.
Über die Position
Wir sind ein schnell wachsendes, US-israelisches KI-Startup, das die Infrastruktur der nächsten Generation für die anspruchsvollsten KI-Workloads der Welt entwickelt. Unsere Mission ist es, die Zukunft der Intelligenz zu beschleunigen und sie durch die Bereitstellung von full stack Custom-KI-Servern, die für groß angelegte Inferenz und Training optimiert sind, universell zugänglich zu machen.
Unterstützt von erstklassigen Investoren und geleitet von Branchenveteranen skalieren wir rasant. Wir suchen zukunftsorientierte Ingenieure und Operatoren, die in einem kollaborativen Umfeld aufblühen und komplexe Herausforderungen von Grund auf lösen können. Wenn Sie eine Infrastruktur aufbauen möchten, die grundlegend verändert, was die Welt mit KI erreichen kann, kommen Sie zu uns!
In dieser einflussreichen Rolle bilden Sie die Brücke zwischen modernstem Custom-Silicon und produktionsreifer KI. Sie verantworten den gesamten LLM Serving-Stack auf der Hardware von Majestic und architektonieren alles von den Serving-APIs bis hin zu KV-Cache-Management, Batching und Scheduling. Ihre Hauptaufgabe besteht darin, führende Frameworks wie vLLM und SGLang auf unseren Beschleuniger zu portieren und für maximale Leistung zu optimieren. Da unsere Architektur über zusätzlichen Speicher verfügt, werden Sie herkömmliche GPUs nicht nur einholen, sondern deren Grenzen bei Durchsatz, Batch-Größen und Kontextlängen sprengen. Während Sie Engpässe aufspüren, werden Ihre Erkenntnisse direkt unsere zukünftige Kernel-, Compiler- und Hardwareentwicklung steuern.
Wir suchen kluge, neugierige und eigenverantwortliche Persönlichkeiten, die Freude an kreativer Problemlösung und kontinuierlichem Lernen haben. Auch wenn Sie nicht alle Anforderungen erfüllen, würden wir uns freuen, von Ihnen zu hören, wenn Sie die Einstellung mitbringen, komplexe Herausforderungen anzugehen.
Majestic Labs ist ein Arbeitgeber, der Chancengleichheit fördert und sich tiefgreifend für Vielfalt in Hintergrund und Denken einsetzt. Wenn Sie bereit sind, Großes zu wagen, aus Fehlern zu lernen, sich an lebhaften Debatten zu beteiligen und dabei zu helfen, einen Quantensprung in der menschlichen technischen Leistungsfähigkeit zu vollziehen, möchten wir Sie kennenlernen!
Verantwortlichkeiten
- Der Serving-Stack von Anfang bis Ende – Implementierung und Anpassung eines modernen Inferenz-Frameworks (vLLM, SGLang oder ähnlich) für den Betrieb auf der Hardware von Majestic.
- Der Runtime-Hot-Path – Continuous Batching, Scheduler, Paged KV-Cache sowie Prefill/Decode-Disaggregation.
- Verteilte Inferenz in großem Maßstab – Tensor-, Pipeline- und Expert-Parallelität über Beschleuniger hinweg, angebunden an unsere Collective Communication Library (CCL).
- Die multimodale Pipeline – Bild-, Audio- und Videovorverarbeitung, Encoder-Integration und Batching für gemischte Modalitäten.
- Inferenz-Techniken – Speculative Decoding, Prefix Caching und strukturiertes Decoding.
- End-to-End-Performance – Profiling, Benchmarking und die Suche nach Engpässen im gesamten Serving-Pfad, wobei die Ergebnisse direkt an die Kernel-, Compiler- und Hardware-Teams zurückfließen.
Anforderungen
- 5+ Jahre Erfahrung in der Entwicklung oder dem Betrieb von produktiven LLM-Inferenz- und Serving-Systemen.
- Fundierte, praktische Erfahrung mit einem modernen Inferenz-Framework wie vLLM, SGLang, TensorRT-LLM, Fireworks oder ähnlichen, einschließlich dessen Scheduler, Paged Attention / KV-Cache, Model Executor und backend-Integrationspunkten.
- Starke Kenntnisse in Python und C++ mit der Fähigkeit, sich fließend zwischen beiden zu bewegen.
- Ein tiefes Verständnis von Transformer-Inferenz – die Aufteilung von Prefill/Decode, das Verhalten des KV-Cache und wie die Dynamik des Batching Latenz und Durchsatz beeinflusst.
- Erfahrung mit verteilter Inferenz – Tensor- und Pipeline-Parallelität über mehrere Geräte hinweg.
- Ein Gespür für Performance – Sie können einen End-to-End-Stack profilieren und eine Regression von der Serving-API bis hinunter zum Kernel verfolgen.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen