États-Unis
Launch Legends
SambaNova
Ingénieur Senior en Infrastructure ML
États-Unis
San Jose, California, United States · Austin, Texas, United States
Python
Traduction automatique. Consultez l’original.
À PROPOS DE L'ÉQUIPE
SambaNova est un leader dans l'infrastructure IA de nouvelle génération, fournissant une plateforme d'inférence full-stack pour des clients dans le monde entier. Au cœur de la technologie de SambaNova se trouve l'unité RDU (Reconfigurable Dataflow Unit) — une puce construite sur une architecture dataflow plutôt que sur le modèle GPU traditionnel. Ses performances de décodage sont particulièrement fortes pour les charges de travail agentiques telles que les agents multi-tours, la génération de code et les applications de longue durée. Les RDU sont regroupées dans SambaRack, du matériel à l'échelle d'un rack qui permet aux clients de déployer des modèles de pointe avec de meilleures performances, une plus grande efficacité énergétique et une valeur plus rapide.
L'équipe d'infrastructure ML construit et exploite la pile d'inférence qui dessert les modèles de SambaNova sur les accélérateurs RDU, de la planification des requêtes et de la mise en cache via les APIs publiques dans SambaStack et SambaCloud. Nous prenons des techniques d'inférence telles que le décodage spéculatif, le décodage contraint et le service de contexte long du prototype à la production, et nous gérons l'infrastructure de précision qui valide chaque fonctionnalité que nous livrons. Nous travaillons aux côtés des équipes ML, compilateur, runtime et produit, car la plupart de ce que nous construisons touche les quatre.
À PROPOS DU POSTE
L'Ingénieur Logiciel Senior, Infrastructure ML sera responsable de la conception, de la construction et de l'exploitation de l'infrastructure d'inférence de qualité production qui alimente la pile de service de SambaNova sur notre architecture RDU (Reconfigurable Dataflow Unit). SambaNova est une entreprise axée sur l'inférence, et ce rôle est au cœur de cette mission : transformer les techniques d'inférence de pointe en services fiables, à haut débit et à faible latence, exposés aux clients via SambaStack et SambaCloud. L'ingénieur sera responsable des systèmes de bout en bout couvrant la planification des requêtes, les algorithmes de décodage avancés, les couches de mise en cache, les surfaces API, et l'infrastructure de précision qui maintient la fiabilité de la pile. Ce rôle implique une collaboration étroite avec les équipes ML, compilateur, runtime et produit pour livrer des fonctionnalités d'inférence du prototype à la production.
RESPONSABILITÉS
- Concevoir et industrialiser des techniques d'inférence avancées sur RDU pour optimiser les performances et les coûts. Les domaines clés comprennent le décodage spéculatif, le décodage contraint, l'appel de fonctions/outils, la mise en cache de prompts et l'inférence de contexte long.
- Gérer l'intégration de SambaNova avec vLLM et les frameworks de service adjacents, en les adaptant à l'architecture de RDU.
- Gérer la surface API d'inférence publique exposée via SambaStack et SambaCloud.
- Construire et maintenir l'infrastructure de vérification de précision et de régression qui valide chaque fonctionnalité d'inférence livrée aux clients.
- Collaborer avec les équipes ML, compilateur, runtime et produit pour livrer les fonctionnalités d'inférence du prototype à la production.
- Contribuer aux discussions de conception technique, aux revues de code et aux décisions architecturales en tant que contributeur individuel senior.
QUALIFICATIONS REQUISES
- Diplôme de B.S. en informatique, génie électrique ou domaine connexe
- 5+ années d'expérience industrielle dans la construction et l'exploitation de systèmes distribués à grande échelle, idéalement dans le service ML
- Solides fondamentaux en ingénierie logicielle : algorithmes, structures de données, concurrence et conception de systèmes
- Expérience dans la conception et la maintenance de services de production avec des exigences strictes en matière de latence, de débit et de disponibilité
- Connaissance pratique des techniques d'inférence LLM modernes et familiarité avec les piles de service open-source telles que vLLM, TensorRT-LLM, ou SGLang
- Maîtrise de Python
- Expérience de collaboration inter-équipes pour livrer des solutions d'ingénierie complexes au niveau système
Fourchette de salaire de base
Fourchette de rémunération de base $200,000—$275,000 USD
Directives de soumission
Veuillez noter que pour être considéré comme candidat pour tout poste chez SambaNova Systems, vous devez soumettre un formulaire de candidature pour chaque poste pour lequel vous estimez être qualifié.
Politique EEO
SambaNova Systems est un employeur qui souscrit au principe de l'égalité des chances et de l'action positive. Tous les candidats qualifiés recevront une considération pour l'emploi sans distinction d'âge (40 et plus), de couleur, de handicap, d'identité de genre, d'informations génétiques, de statut matrimonial, de statut militaire ou d'ancien combattant, d'origine nationale/ascendance, de race, de religion, de credo, de sexe (y compris la grossesse, l'accouchement, l'allaitement), d'orientation sexuelle et de tout autre statut applicable protégé par les lois fédérales, étatiques ou locales.
Résumé des avantages pour les postes à temps plein basés aux États-Unis
SambaNova offre un ensemble concurrentiel de récompenses totales, y compris le salaire de base, ainsi que des actions et des avantages sociaux. Nous couvrons 95% des primes pour l'assurance médicale des employés, et 77% des primes pour les personnes à charge et offrons un compte d'épargne santé (HSA) avec une contribution de l'employeur. Nous proposons également des plans d'assurance dentaire, vision, invalidité courte/longue durée, vie de base, vie volontaire et AD&D en plus des options de compte de dépenses flexibles (FSA) comme les soins de santé, le but limité et les soins aux personnes à charge. Notre bibliothèque d'avantages bien-être disponibles pour vous et vos personnes à charge comprend un abonnement complet à Headspace, un abonnement Gympass+ avec accès aux salles de sport physiques, une adhésion à One Medical, des services de conseil avec un programme d'aide aux employés, et bien plus encore.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil