Ingénieur Principal Senior en Mise en Service de Modèles

SambaNova est un leader de l'infrastructure IA de nouvelle génération, fournissant une plateforme d'inférence full-stack aux clients du monde entier. Au cœur de la technologie de SambaNova se trouve le RDU (Reconfigurable Dataflow Unit) — une puce basée sur une architecture de flux de données plutôt que sur le modèle GPU traditionnel. Ses performances de décodage sont particulièrement robustes pour les charges de travail agentiques telles que les agents multi-tours, la génération de code et les applications à exécution longue. Les RDU sont intégrés dans SambaRack, un matériel à l'échelle du rack qui permet aux clients de déployer des modèles de pointe avec de meilleures performances, une plus grande efficacité énergétique et un délai de mise sur le marché plus rapide.

À propos de l'équipe

Nous prenons des modèles open-weight de pointe (denses, mélange d'experts avec des centaines d'experts, hybrides Mamba/attention, attention à fenêtre glissante, prédiction multi-jetons) depuis Hugging Face pour les mettre en production sur les accélérateurs de flux de données RDU de SambaNova. Cela signifie les compiler, prouver leur exactitude numérique par rapport à la référence, les servir avec l'ensemble complet des fonctionnalités et fusionner le travail dans une pile partagée afin que le prochain modèle soit moins coûteux à déployer.

À propos du poste

Vous mettrez en service de nouveaux LLMs open-weight, y compris des architectures denses, de mélange d'experts et hybrides Mamba/attention, sur les accélérateurs de flux de données RDU de SambaNova pour les mettre en production. Cela implique d'adapter le modèle, de le mapper sur les puces et les hôtes, de le compiler et de le valider numériquement par rapport à la référence. Vous développerez également des fonctionnalités d'inférence telles que le traitement par lots continu, le décodage spéculatif et FP8/FP4 en tant que modules partagés, afin que chaque nouveau modèle coûte moins cher à mettre en service.

Réussite après six mois

Prendre en charge une famille de modèles de la première compilation jusqu'au service et à la fusion ; transformer un correctif spécifique à un modèle en un module partagé adopté par d'autres ; réduire de manière mesurable une boucle longue pour l'équipe.

Fourchette de salaire de base

Fourchette de salaire de base $208,000—$312,000 USD

Directives de candidature

Veuillez noter que pour être considéré comme candidat à tout poste chez SambaNova Systems, vous devez soumettre un formulaire de candidature pour chaque poste pour lequel vous pensez être qualifié.

Politique d'égalité des chances (EEO)

SambaNova Systems est un employeur garantissant l'égalité des chances et l'action positive. Tous les candidats qualifiés seront pris en considération pour un emploi sans égard à l'âge (40 ans et plus), la couleur, le handicap, l'identité de genre, les informations génétiques, l'état civil, le statut militaire ou d'ancien combattant, l'origine nationale/l'ascendance, la race, la religion, la croyance, le sexe (y compris la grossesse, l'accouchement, l'allaitement), l'orientation sexuelle et tout autre statut protégé par les lois fédérales, étatiques ou locales applicables.

Résumé des avantages pour les postes à temps plein basés aux États-Unis

SambaNova offre un package de rémunération globale compétitif, incluant le salaire de base, ainsi que des actions et des avantages sociaux. Nous couvrons 95% de la prime d'assurance médicale des employés et 77% de la prime pour les personnes à charge, et proposons un compte d'épargne santé (HSA) avec une contribution de l'employeur. Nous offrons également des plans d'assurance dentaire, vision, invalidité de courte/longue durée, assurance vie de base, assurance vie volontaire et AD&D, en plus d'options de compte de dépenses flexibles (FSA) telles que les soins de santé, les objectifs limités et les soins aux personnes à charge. Notre bibliothèque d'avantages liés au bien-être, accessible à vous et à vos personnes à charge, comprend un abonnement complet à Headspace, une adhésion Gympass+ avec accès à des salles de sport physiques, une adhésion One Medical, des services de conseil via un programme d'aide aux employés, et bien plus encore.