Allemagne
Booz Allen Hamilton
Nebius
Ingénieur Staff Machine Learning, Optimisation de l'inférence LLM
Allemagne
Prague, Prague, Czechia · Berlin, Germany · Amsterdam, North Holland, Netherlands · Zurich, Zurich, Switzerland · London, England, United Kingdom · Poland
Python
Traduction automatique. Consultez l’original.
À propos de Nebius
Nebius ouvre une nouvelle ère dans l'infrastructure cloud pour l'économie mondiale de l'IA. Nous construisons une plateforme cloud IA full-stack qui accompagne les développeurs et les entreprises, de l'entraînement des données et des modèles jusqu'au déploiement en production, sans les coûts et la complexité liés à la création d'une infrastructure IA/ML interne à grande échelle.
Conçu par des ingénieurs, pour des ingénieurs. De l'orchestration GPU à grande échelle à l'optimisation de l'inférence, nous prenons en charge les défis techniques complexes en matière de calcul, de stockage, de réseau et d'IA appliquée.
Cotés au Nasdaq (NBIS) et basés à Amsterdam, nous disposons d'une présence mondiale avec des centres de R&D en Europe, au Royaume-Uni, en Amérique du Nord et en Israël. Notre équipe de plus de 1,500 personnes comprend des centaines d'ingénieurs possédant une expertise approfondie en matériel, logiciels et R&D en IA.
Résumé du poste
Le Token Factory de Nebius développe une inférence de qualité production pour des modèles open source, clients et optimisés en interne. Ce poste est responsable du parcours allant de l'artefact du modèle à un point de terminaison rapide, fiable et rentable. Le travail se situe à l'intersection des composants internes des modèles, des moteurs d'inférence, de l'architecture de service, de l'analyse comparative (benchmarking) et du déploiement en production.
À quoi ressemble le travail chez Nebius
Rythme rapide - Pensée audacieuse - Croissance constante - Impact significatif - Confiance et réelle autonomie - Opportunité de façonner l'avenir de l'IA
Vos missions
- Prendre en charge un pilier d'optimisation au niveau de la plateforme, tel que la quantification, le décodage spéculatif, l'optimisation du KV-cache, la sélection de moteurs ou le service à long contexte.
- Créer des frameworks réutilisables d'évaluation, de benchmarking et de déploiement pour plusieurs familles de modèles.
- Fournir une orientation technique aux ingénieurs MLE, aux scientifiques appliqués, aux ingénieurs en noyaux GPU et aux ingénieurs infrastructure sur des objectifs de performance partagés.
- Optimiser les points de terminaison LLM et VLM en termes de latence, débit, efficacité mémoire, utilisation GPU, qualité et coût par jeton.
- Déployer, configurer, évaluer et étendre des moteurs d'inférence tels que vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo ou des systèmes similaires.
- Construire et industrialiser des flux de travail de compression de modèles, incluant la quantification, l'entraînement conscient de la quantification, la distillation, le service à faible bit et la récupération de précision.
- Implémenter ou intégrer le décodage spéculatif, les approches de modèles brouillons, l'optimisation du KV-cache, la mise en cache de préfixes, le pré-remplissage par blocs, le traitement par lots continu et le service de pré-remplissage/décodage désagrégé.
- Construire des outils de benchmarking reproductibles pour le TTFT, le TPOT, les jetons par seconde par GPU, la latence p95/p99, la mémoire GPU, la fiabilité et le coût par jeton.
- Collaborer avec les ingénieurs en noyaux GPU et les ingénieurs plateforme pour diagnostiquer les goulots d'étranglement au niveau du code du modèle, des noyaux, du runtime, du planificateur, de la passerelle et des couches de cluster.
- Rédiger des documents de conception clairs, des rapports de performance, des plans de déploiement et des explications techniques destinées aux clients.
Qualifications requises
- Solides compétences en ingénierie Python et PyTorch.
- Expérience pratique du déploiement ou de l'optimisation de systèmes d'inférence LLM, VLM ou de transformateurs à haut débit.
- Connaissance pratique d'au moins une pile d'inférence moderne telle que vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe ou des systèmes internes équivalents.
- Compréhension approfondie des goulots d'étranglement de l'inférence des transformateurs, notamment le KV cache, l'attention, la bande passante mémoire, le traitement par lots, le parallélisme et le service à long contexte.
- Capacité à raisonner quantitativement sur les compromis entre latence, débit, qualité, utilisation et coût.
- Excellentes compétences en communication et capacité à collaborer avec les équipes de recherche, de noyaux, d'infrastructure, de produit et les équipes clients.
Qualifications souhaitées
- Expérience avec l'entraînement conscient de la quantification, la quantification post-entraînement, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant ou des techniques connexes.
- Expérience avec la distillation, le décodage spéculatif, EAGLE, Medusa, la prédiction multi-jetons ou d'autres méthodes d'accélération de l'inférence.
- Expérience avec les charges de travail d'agents, incluant l'appel d'outils, les sorties structurées, le streaming d'APIs, la haute concurrence et l'orchestration multi-étapes.
- Familiarité avec CUDA ou Triton, même si le rôle n'est pas principalement axé sur l'ingénierie de noyaux.
- Contributions open source à vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe ou des projets connexes.
Avantages et bénéfices
- Rémunération compétitive
- Opportunités de croissance professionnelle et d'apprentissage
- Flexibilité et autonomie
- Culture collaborative et innovante
- Opportunité de travailler sur des projets d'IA à fort impact
- Environnement international et équipes talentueuses
Déclaration d'égalité des chances
Nebius est un employeur qui souscrit au principe de l'égalité des chances. Nous nous engageons à favoriser un lieu de travail inclusif et diversifié et à offrir des chances égales d'emploi dans tous les aspects de l'embauche. Nous ne pratiquons aucune discrimination fondée sur la race, la couleur, la religion, le sexe (y compris la grossesse), l'origine nationale, l'ascendance, l'âge, le handicap, les informations génétiques, l'état civil, le statut d'ancien combattant, l'orientation sexuelle, l'identité ou l'expression de genre, ou toute autre caractéristique protégée par la loi applicable.
Les candidats doivent être autorisés à travailler dans le pays où ils postulent et devront fournir une preuve d'éligibilité à l'emploi comme condition d'embauche.
Si vous avez besoin d'aménagements spécifiques pendant le processus de candidature, veuillez nous en informer.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil