HEARTLAND BUSINESS SYSTEMS LLC
Majestic Labs
Ingénieur en inférence LLM
À propos du poste
Nous sommes une startup spécialisée dans l'IA, dynamique et basée aux États-Unis et en Israël, qui développe l'infrastructure de nouvelle génération pour les charges de travail IA les plus exigeantes au monde. Notre mission est d'accélérer l'avenir de l'intelligence et de la rendre universellement accessible en fournissant des serveurs IA personnalisés full stack optimisés pour l'inférence et l'entraînement à grande échelle.
Soutenus par des investisseurs de premier plan et dirigés par des vétérans de l'industrie, nous connaissons une croissance rapide. Nous recherchons des ingénieurs et des opérateurs visionnaires qui s'épanouissent dans un environnement collaboratif et excellent dans la résolution de problèmes complexes en partant des principes fondamentaux. Si vous souhaitez construire une infrastructure qui change fondamentalement ce que le monde peut accomplir grâce à l'IA, rejoignez-nous !
Dans ce rôle à fort impact, vous faites le pont entre le silicium personnalisé de pointe et l'IA en production. Vous serez responsable de l'intégralité de la pile de service LLM sur le matériel Majestic, en concevant tout, des APIs de service jusqu'à la gestion du cache KV, le traitement par lots et la planification. Votre mission principale est de porter des frameworks de premier plan tels que vLLM et SGLang sur notre accélérateur et de les optimiser pour des performances maximales. Comme notre architecture offre une marge de mémoire importante, vous ne vous contenterez pas d'égaler les GPU traditionnels ; vous dépasserez leurs limites en termes de débit, de taille de lots et de longueurs de contexte. En traquant les goulots d'étranglement, vos analyses orienteront directement le développement futur de nos noyaux, de notre compilateur et de notre matériel.
Nous recherchons des personnes intelligentes, curieuses et autonomes qui apprécient la résolution créative de problèmes et l'apprentissage continu. Même si vous ne remplissez pas toutes les conditions, nous serions ravis d'échanger avec vous si vous avez l'état d'esprit nécessaire pour relever des défis complexes.
Majestic Labs est un employeur garantissant l'égalité des chances, profondément attaché à la diversité des parcours et des idées. Si vous êtes prêt à oser, à apprendre de vos erreurs, à participer à des débats vigoureux et à contribuer à créer un changement radical dans les capacités techniques humaines, nous voulons vous rencontrer !
Responsabilités
- La pile de service, de bout en bout : mettre en place et adapter un framework d'inférence moderne (vLLM, SGLang ou similaire) pour qu'il fonctionne sur le matériel Majestic.
- Le chemin critique d'exécution : traitement par lots continu, planificateur, cache KV paginé et désagrégation pré-remplissage/décodage.
- Inférence distribuée à grande échelle : parallélisme de tenseurs, de pipeline et d'experts sur plusieurs accélérateurs, intégrés à notre bibliothèque de communication collective (CCL).
- Le pipeline multimodal : prétraitement d'images, d'audio et de vidéo, intégration d'encodeurs et traitement par lots multi-modalités.
- Techniques d'inférence : décodage spéculatif, mise en cache de préfixes et décodage structuré.
- Performance de bout en bout : profiler, évaluer et traquer les goulots d'étranglement sur l'ensemble du chemin de service, en transmettant les résultats aux équipes chargées des noyaux, du compilateur et du matériel.
Profil recherché
- 5 ans et plus d'expérience dans la création ou l'exploitation de systèmes d'inférence et de service LLM en production.
- Expérience approfondie et pratique d'un framework d'inférence moderne (vLLM, SGLang, TensorRT-LLM, Fireworks ou similaire), incluant son planificateur, l'attention paginée / cache KV, l'exécuteur de modèles et les points d'intégration backend.
- Maîtrise solide de Python et C++, avec la capacité de passer fluidement de l'un à l'autre.
- Une compréhension réelle de l'inférence des transformeurs : la séparation pré-remplissage/décodage, le comportement du cache KV et la manière dont la dynamique de traitement par lots influence la latence et le débit.
- Expérience en inférence distribuée : parallélisme de tenseurs et de pipeline sur plusieurs appareils.
- Un instinct pour la performance : vous êtes capable de profiler une pile de bout en bout et de traquer une régression depuis l'API de service jusqu'au noyau.
