États-Unis
Be Structured Technology Group
SambaNova
Ingénieur Infrastructure ML Senior
États-Unis
San Jose, California, United States · Austin, Texas, United States
Python
Traduction automatique. Consultez l’original.
À propos du poste
SambaNova est un leader de l'infrastructure IA de nouvelle génération, fournissant une plateforme d'inférence full-stack aux clients du monde entier. Au cœur de la technologie de SambaNova se trouve le RDU (Reconfigurable Dataflow Unit) — une puce basée sur une architecture de flux de données plutôt que sur le modèle GPU traditionnel. Ses performances de décodage sont particulièrement robustes pour les charges de travail d'agents, telles que les agents multi-tours, la génération de code et les applications à exécution longue. Les RDU sont intégrés dans SambaRack, un matériel à l'échelle du rack qui permet aux clients de déployer des modèles de pointe avec de meilleures performances, une plus grande efficacité énergétique et un délai de mise sur le marché plus rapide.
À propos de l'équipe
L'équipe Infrastructure ML construit et exploite la pile d'inférence qui exécute les modèles de SambaNova sur les accélérateurs RDU, de la planification des requêtes et de la mise en cache jusqu'aux APIs publiques dans SambaStack et SambaCloud. Nous faisons passer les techniques d'inférence telles que le décodage spéculatif, le décodage contraint et le service à long contexte du prototype à la production, et nous sommes responsables de l'infrastructure de précision qui valide chaque fonctionnalité que nous déployons. Nous travaillons en étroite collaboration avec les équipes ML, compilateur, runtime et produit, car la plupart de nos réalisations touchent à ces quatre domaines.
À propos du poste
L'ingénieur logiciel senior, Infrastructure ML, sera responsable de la conception, de la construction et de l'exploitation de l'infrastructure d'inférence de qualité production qui alimente la pile de service de SambaNova sur notre architecture RDU (Reconfigurable Dataflow Unit). SambaNova est une entreprise axée sur l'inférence, et ce poste est au cœur de cette mission : transformer des techniques d'inférence de pointe en services fiables, à haut débit et à faible latence, exposés aux clients via SambaStack et SambaCloud. L'ingénieur sera responsable de systèmes de bout en bout couvrant la planification des requêtes, les algorithmes de décodage avancés, les couches de mise en cache, les surfaces d'API et l'infrastructure de précision qui garantit la fiabilité de la pile. Ce rôle collabore étroitement avec les équipes ML, compilateur, runtime et produit pour déployer des fonctionnalités d'inférence du prototype à la production.
Responsabilités
- Concevoir et mettre en production des techniques d'inférence avancées sur RDU pour optimiser les performances et les coûts. Les domaines clés incluent le décodage spéculatif, le décodage contraint, l'appel de fonctions/outils, la mise en cache des prompts et l'inférence à long contexte.
- Prendre en charge l'intégration de SambaNova avec vLLM et les frameworks de service adjacents, en les adaptant à l'architecture RDU.
- Prendre en charge la surface d'API d'inférence publique exposée via SambaStack et SambaCloud.
- Construire et maintenir l'infrastructure de vérification de la précision et de régression qui valide chaque fonctionnalité d'inférence livrée aux clients.
- Collaborer avec les équipes ML, compilateur, runtime et produit pour faire passer les fonctionnalités d'inférence du prototype à la production.
- Contribuer aux discussions de conception technique, aux revues de code et aux décisions architecturales en tant que contributeur individuel senior.
Qualifications requises
- Licence (B.S.) en informatique, génie électrique ou domaine connexe
- 5+ années d'expérience dans l'industrie dans la construction et l'exploitation de systèmes distribués à grande échelle, idéalement dans le service ML
- Solides fondamentaux en génie logiciel : algorithmes, structures de données, concurrence et conception de systèmes
- Expérience dans la conception et la maintenance de services de production avec des exigences strictes en matière de latence, de débit et de disponibilité
- Connaissance pratique des techniques d'inférence LLM modernes et familiarité avec les piles de service open-source telles que vLLM, TensorRT-LLM ou SGLang
- Maîtrise de Python
- Expérience de collaboration entre équipes pour fournir des solutions d'ingénierie complexes au niveau du système
Fourchette de salaire de base
Fourchette de salaire de base 200,000 $—275,000 USD
Directives de candidature
Veuillez noter que pour être considéré comme candidat à un poste chez SambaNova Systems, vous devez soumettre un formulaire de candidature pour chaque poste pour lequel vous pensez être qualifié.
Politique d'égalité des chances (EEO)
SambaNova Systems est un employeur garantissant l'égalité des chances et pratiquant l'action positive. Tous les candidats qualifiés seront pris en considération pour un emploi sans égard à l'âge (40 ans et plus), la couleur, le handicap, l'identité de genre, les informations génétiques, l'état civil, le statut militaire ou d'ancien combattant, l'origine nationale/l'ascendance, la race, la religion, les convictions, le sexe (y compris la grossesse, l'accouchement, l'allaitement), l'orientation sexuelle et tout autre statut protégé par les lois fédérales, étatiques ou locales.
Résumé des avantages sociaux pour les postes à temps plein basés aux États-Unis
SambaNova offre un package de rémunération globale compétitif, incluant le salaire de base, ainsi que des actions et des avantages sociaux. Nous couvrons 95% de la prime d'assurance médicale des employés et 77% de la prime pour les personnes à charge, et nous proposons un compte d'épargne santé (HSA) avec une contribution de l'employeur. Nous proposons également des plans d'assurance dentaire, vision, invalidité de courte/longue durée, vie de base, vie volontaire et AD&D, en plus d'options de compte de dépenses flexibles (FSA) telles que les soins de santé, les objectifs limités et les soins aux personnes à charge. Notre bibliothèque d'avantages liés au bien-être, disponible pour vous et vos personnes à charge, comprend un abonnement complet à Headspace, un abonnement Gympass+ avec accès à des salles de sport physiques, un abonnement One Medical, des services de conseil via un programme d'aide aux employés, et bien plus encore.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil