États-Unis
Siemens
SambaNova
Architecte Performance des Systèmes d'Inférence
États-Unis
San Jose, California, United States
Traduction automatique. Consultez l’original.
À propos du poste
SambaNova est un leader de l'infrastructure IA de nouvelle génération, fournissant une plateforme d'inférence full-stack aux clients du monde entier. Au cœur de la technologie de SambaNova se trouve le RDU (Reconfigurable Dataflow Unit) — une puce basée sur une architecture de flux de données plutôt que sur le modèle GPU traditionnel. Ses performances de décodage sont particulièrement robustes pour les charges de travail agentiques telles que les agents multi-tours, la génération de code et les applications à exécution longue. Les RDU sont intégrés dans SambaRack, un matériel à l'échelle du rack qui permet aux clients de déployer des modèles de pointe avec de meilleures performances, une plus grande efficacité énergétique et un délai de mise sur le marché plus rapide.
À propos de l'équipe
L'équipe Performance des Systèmes d'Inférence répond à la question de savoir à quelle vitesse les systèmes de SambaNova peuvent servir des modèles de langage étendus et ce qu'il faut pour y parvenir. Nous capturons le trafic de production réel, nous l'analysons fidèlement, nous modélisons et simulons des configurations qui n'existent pas encore, et nous profilons le pipeline de service distribué à travers l'hôte, l'accélérateur et la fabric. Notre travail alimente l'optimisation du service aujourd'hui ainsi que la planification du matériel et de la capacité pour la prochaine génération. Nous travaillons en étroite collaboration avec les équipes d'optimisation des modèles, des systèmes, du matériel et des produits, et toute l'entreprise dépend de nos chiffres.
À propos du poste
Vous serez l'architecte de la performance d'inférence de bout en bout : comment une requête se déplace à travers la tokenisation, le pré-remplissage (prefill), le décodage et la fabric entre eux, et comment un déploiement est dimensionné par rapport aux SLO des clients. Le travail repose sur deux piliers couplés. Le premier est la capture et l'analyse comparative reproductibles des charges de travail, en construisant des représentations rejouables du trafic réel et de plus en plus agentique afin que les mesures reflètent la production plutôt qu'un script de charge naïf. Le second est la modélisation et la simulation des performances, transformant la mesure en une capacité de simulation « et si » pour des configurations et du matériel qui n'existent pas encore.
La frontière que vous aiderez à définir est l'inférence hétérogène et désagrégée, avec un GPU pour le pré-remplissage et le RDU pour le décodage. Cela ouvre des problèmes complexes en matière de mise en réseau, de stockage, de mise en cache des invites (prompt caching) et de mouvement de données limité par la latence de queue. La performance des systèmes d'inférence est un domaine jeune et la plupart des réponses sont encore à découvrir ; vous passerez donc votre temps sur des problèmes ambigus sans solution établie, et vous définirez l'orientation technique sur laquelle les autres s'appuieront.
Responsabilités
- Définir et piloter la stratégie technique pour la performance des systèmes d'inférence, y compris la capture des charges de travail, l'analyse comparative, la modélisation et la simulation, tout en développant une architecture qui permet de nombreux futurs potentiels.
- Construire la capacité de capture des charges de travail et d'analyse comparative agentique - capturer le trafic de production représentatif et imposer la discipline d'interroger les résultats, en repérant les contentions artificielles ou les taux de réussite de cache trompeusement élevés qui ne se produisent jamais en utilisation réelle.
- Prendre en charge la pratique de modélisation et de simulation des performances - des modèles qui prédisent comment un changement de configuration modifie le résultat, informant la planification de la capacité par rapport aux SLO des clients ainsi que la planification des systèmes et du matériel de nouvelle génération.
- Attaquer l'écart de profilage de bout en bout - piloter des outils qui produisent des profils précis et exploitables d'un pipeline d'inférence distribué afin que les goulots d'étranglement puissent être localisés à travers l'hôte, l'accélérateur et la fabric.
- Servir de voix technique senior à travers l'optimisation des modèles, les systèmes, le matériel et le produit, en liant plusieurs activités et équipes d'ingénierie, et en pesant les compromis entre fiabilité, évolutivité, coût opérationnel et facilité d'adoption.
- Agir en tant que ressource pour l'ensemble de l'organisation, y compris en représentant l'histoire de la performance de SambaNova auprès des clients et des partenaires.
- Mentorer et multiplier en augmentant les capacités des ingénieurs principaux et seniors, en construisant les systèmes, les outils et les modèles qui rendent tout le monde plus productif.
- Piloter la résolution des défis les plus ambigus et inédits qui traversent les frontières organisationnelles ou qui n'ont pas encore de réponse établie dans le domaine.
Qualifications requises
- Licence (B.S.) en informatique, génie informatique ou domaine connexe.
- 12+ années d'expérience en ingénierie de la performance, avec un historique démontré de leadership technique sur des systèmes complexes à grande échelle.
- Expertise approfondie dans l'analyse de performance de bout en bout de systèmes distribués avec de nombreuses parties mobiles et la capacité de localiser des goulots d'étranglement que d'autres ne peuvent pas identifier.
- Maîtrise prouvée de la génération de charges de travail réalistes, de la simulation et de la modélisation des performances, y compris l'étalonnage des modèles par rapport à des charges de travail réelles et variables.
- Capacité démontrée à entrer dans un domaine inconnu et à appliquer des méthodes de performance fondamentales avec une expertise disciplinaire transférable.
- Capacité à diriger des efforts interfonctionnels, à mentorer des ingénieurs seniors et à influencer l'orientation organisationnelle.
- Expérience dans la représentation crédible d'une organisation auprès des clients et des partenaires.
- Historique de définition et de livraison indépendante de travaux de haute complexité et de haute ambiguïté ayant un impact significatif sur les produits ou la feuille de route.
Qualifications souhaitées
- Master (M.S.) ou Doctorat (PHD) en informatique, génie informatique ou domaine connexe.
- Expérience directe avec le service d'inférence LLM - traitement par lots continu (continuous batching), mise en cache des invites/KV, désagrégation pré-remplissage/décodage, SLO de latence de queue.
- Familiarité avec les frameworks de simulation d'inférence ou les efforts d'analyse comparative agentique.
- Une voix technique publique - conférences, écrits ou présence dans la communauté sur la performance des systèmes.
Fourchette de salaire de base
Fourchette de salaire de base $245,000—$325,000 USD
Directives de soumission
Veuillez noter que pour être considéré comme candidat à un poste chez SambaNova Systems, vous devez soumettre un formulaire de candidature pour chaque poste pour lequel vous pensez être qualifié.
Politique d'égalité des chances (EEO)
SambaNova Systems est un employeur garantissant l'égalité des chances et l'action positive. Tous les candidats qualifiés seront pris en considération pour un emploi sans égard à l'âge (40 ans et plus), la couleur, le handicap, l'identité de genre, les informations génétiques, l'état civil, le statut militaire ou d'ancien combattant, l'origine nationale/l'ascendance, la race, la religion, la croyance, le sexe (y compris la grossesse, l'accouchement, l'allaitement), l'orientation sexuelle et tout autre statut applicable protégé par les lois fédérales, étatiques ou locales.
Résumé des avantages sociaux pour les postes à temps plein basés aux États-Unis
SambaNova offre un ensemble de récompenses totales compétitif, incluant le salaire de base, ainsi que des actions et des avantages sociaux. Nous couvrons 95% de la prime d'assurance médicale des employés et 77% de la prime pour les personnes à charge, et nous proposons un compte d'épargne santé (HSA) avec une contribution de l'employeur. Nous proposons également des régimes d'assurance dentaire, vision, invalidité de courte/longue durée, vie de base, vie volontaire et AD&D, en plus d'options de compte de dépenses flexibles (FSA) telles que les soins de santé, les objectifs limités et les soins aux personnes à charge. Notre bibliothèque d'avantages liés au bien-être disponible pour vous et vos personnes à charge comprend un abonnement complet à Headspace, un abonnement Gympass+ avec accès à des salles de sport physiques, un abonnement One Medical, des services de conseil avec un programme d'aide aux employés, et bien plus encore.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil