Deutschland
Booz Allen Hamilton
Nebius
Staff Machine Learning Engineer, LLM Inference Optimization
Deutschland
Prague, Prague, Czechia · Berlin, Germany · Amsterdam, North Holland, Netherlands · Zurich, Zurich, Switzerland · London, England, United Kingdom · Poland
Python
Automatische Übersetzung. Prüfe das Original.
Über Nebius
Nebius leitet eine neue Ära der Cloud-Infrastruktur für die globale KI-Wirtschaft ein. Wir bauen eine full-stack KI-Cloud-Plattform, die Entwickler und Unternehmen von der Daten- und Modellschulung bis hin zur Bereitstellung in der Produktion unterstützt, ohne die Kosten und die Komplexität, die mit dem Aufbau einer großen internen KI/ML-Infrastruktur verbunden sind.
Von Ingenieuren für Ingenieure gebaut. Von der groß angelegten GPU-Orchestrierung bis zur Inferenzoptimierung bewältigen wir die schwierigen Probleme in den Bereichen Compute, Storage, Networking und angewandte KI.
Wir sind an der Nasdaq (NBIS) notiert, haben unseren Hauptsitz in Amsterdam und sind weltweit mit F&E-Zentren in Europa, Großbritannien, Nordamerika und Israel vertreten. Unser Team von über 1,500 Mitarbeitern umfasst Hunderte von Ingenieuren mit fundierter Expertise in Hardware, Software und KI-F&E.
Zusammenfassung der Rolle
Die Nebius Token Factory baut produktionsreife Inferenzlösungen für Open-Source-, Kunden- und intern optimierte Modelle. Diese Rolle verantwortet den gesamten Weg vom Modell-Artefakt bis hin zum schnellen, zuverlässigen und kosteneffizienten Endpunkt. Die Arbeit findet an der Schnittstelle von Modellinterna, Inferenz-Engines, Serving-Architektur, Benchmarking und Produktionsbereitstellung statt.
Wie ist es, bei Nebius zu arbeiten
Schnelllebig - Mutiges Denken - Ständiges Wachstum - Sinnvolle Wirkung - Vertrauen und echte Eigenverantwortung - Gelegenheit, die Zukunft der KI zu gestalten
Ihre Aufgaben
- Verantwortung für einen Optimierungspfeiler auf Plattformebene, wie z. B. Quantisierung, spekulative Dekodierung, KV-Cache-Optimierung, Engine-Auswahl oder Long-Context-Serving.
- Erstellung wiederverwendbarer Frameworks für Evaluierung, Benchmarking und Rollout über mehrere Modellfamilien hinweg.
- Technische Leitung für MLEs, Applied Scientists, GPU-Kernel-Ingenieure und Infrastruktur-Ingenieure bei gemeinsamen Leistungszielen.
- Optimierung von LLM- und VLM-Endpunkten hinsichtlich Latenz, Durchsatz, Speichereffizienz, GPU-Auslastung, Qualität und Kosten pro Token.
- Bereitstellung, Konfiguration, Benchmarking und Erweiterung von Inferenz-Engines wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo oder ähnlichen Systemen.
- Aufbau und Operationalisierung von Modellkomprimierungs-Workflows, einschließlich Quantisierung, Quantization-Aware Training, Destillation, Low-Bit-Serving und Genauigkeitswiederherstellung.
- Implementierung oder Integration von spekulativer Dekodierung, Draft-Model-Ansätzen, KV-Cache-Optimierung, Präfix-Caching, Chunked Prefill, Continuous Batching und disaggregiertem Prefill/Decode-Serving.
- Aufbau reproduzierbarer Benchmark-Umgebungen für TTFT, TPOT, Tokens pro Sekunde pro GPU, p95/p99-Latenz, GPU-Speicher, Zuverlässigkeit und Kosten pro Token.
- Zusammenarbeit mit GPU-Kernel-Ingenieuren und Plattform-Ingenieuren zur Diagnose von Engpässen in Modellcode, Kernels, Runtime, Scheduler, Gateway und Cluster-Schichten.
- Erstellung klarer Designdokumente, Leistungsberichte, Rollout-Pläne und kundenorientierter technischer Erläuterungen.
Erforderliche Qualifikationen
- Starke Python- und PyTorch-Engineering-Kenntnisse.
- Praktische Erfahrung in der Bereitstellung oder Optimierung von LLM-, VLM- oder hochdurchsatzfähigen Transformer-Inferenzsystemen.
- Praktische Kenntnisse in mindestens einem modernen Inferenz-Stack wie vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe oder gleichwertigen internen Systemen.
- Fundiertes Verständnis von Engpässen bei der Transformer-Inferenz, einschließlich KV-Cache, Attention, Speicherbandbreite, Batching, Parallelisierung und Long-Context-Serving.
- Fähigkeit, quantitativ über Latenz-, Durchsatz-, Qualitäts-, Auslastungs- und Kosten-Abwägungen zu argumentieren.
- Starke Kommunikationsfähigkeiten und die Fähigkeit zur Zusammenarbeit mit Forschungs-, Kernel-, Infrastruktur-, Produkt- und Kundenteams.
Bevorzugte Qualifikationen
- Erfahrung mit Quantization-Aware Training, Post-Training-Quantisierung, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant oder verwandten Techniken.
- Erfahrung mit Destillation, spekulativer Dekodierung, EAGLE, Medusa, Multi-Token-Vorhersage oder anderen Inferenz-Beschleunigungsmethoden.
- Erfahrung mit agentischen Workloads, einschließlich Tool-Calling, strukturierten Ausgaben, Streaming-APIs, hoher Nebenläufigkeit und mehrstufiger Orchestrierung.
- CUDA- oder Triton-Vertrautheit, auch wenn die Rolle nicht primär eine Kernel-Engineering-Rolle ist.
- Open-Source-Beiträge zu vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe oder verwandten Projekten.
Vorteile & Vergünstigungen
- Wettbewerbsfähige Vergütung
- Karrierewachstum und Lernmöglichkeiten
- Flexibilität und Eigenverantwortung
- Kollaborative und innovative Kultur
- Gelegenheit, an wirkungsvollen KI-Projekten zu arbeiten
- Internationales Umfeld und talentierte Teams
Erklärung zur Chancengleichheit
Nebius ist ein Arbeitgeber, der Chancengleichheit fördert. Wir verpflichten uns, einen integrativen und vielfältigen Arbeitsplatz zu schaffen und in allen Aspekten der Beschäftigung gleiche Chancen zu bieten. Wir diskriminieren nicht aufgrund von Rasse, Hautfarbe, Religion, Geschlecht (einschließlich Schwangerschaft), nationaler Herkunft, Abstammung, Alter, Behinderung, genetischen Informationen, Familienstand, Veteranenstatus, sexueller Orientierung, Geschlechtsidentität oder -ausdruck oder anderen durch geltendes Recht geschützten Merkmalen.
Bewerber müssen für die Arbeit in dem Land, in dem sie sich bewerben, autorisiert sein und als Einstellungsvoraussetzung einen Nachweis über die Arbeitsberechtigung erbringen.
Wenn Sie während des Bewerbungsprozesses Unterstützung benötigen, lassen Sie es uns bitte wissen.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen