Ingénieur en fiabilité de l'inférence IA (Senior/Junior), Infrastructure de calcul

Nous recherchons un ingénieur logiciel, axé sur la fiabilité mais toujours bâtisseur, pour prendre en charge ce qui se passe en production au sein du plan de contrôle natif Kubernetes qui provisionne et exécute notre flotte d'inférence GPU. L'équipe plateforme développe l'API pilotée par manifestes et les contrôleurs qui permettent à l'équipe d'inférence de déclarer ses besoins (un cluster, un déploiement de modèle, un changement de capacité) et de les faire réconcilier en arrière-plan. Votre rôle est de garantir que cette promesse soit tenue dans le monde réel : trier les problèmes InfiniBand lorsque les nœuds de pré-remplissage et de décodage bloquent lors de l'échange de cache KV via RDMA, diagnostiquer les défaillances liées aux modèles phares et au service LoRA qui n'apparaissent pas dans les contrôles de santé génériques, et étendre le système d'auto-guérison automatisé afin que chaque nouveau mode de défaillance devienne une correction permanente plutôt qu'une alerte récurrente.

La valeur fondamentale que nous recherchons est de maintenir le découplage réel même en cas de panne, et de garder la flotte efficace sans que cette efficacité ne devienne une nouvelle source d'instabilité. Vous serez responsable des SLO et des budgets d'erreur pour le service d'inférence, dirigerez la réponse aux incidents et transformerez les enseignements des post-mortems en changements concrets dans les contrôleurs et l'automatisation, plutôt qu'en simples manuels opérationnels mis à jour. Vous travaillerez également sur le volet fiabilité de l'efficacité de la capacité, car une défragmentation ou une passe de bin-packing mal réglée constitue en soi un risque pour la production. Les candidats solides possèdent une expérience pratique de la fiabilité en production sur des systèmes distribués ou de service GPU à grande échelle, sont à l'aise avec le dépannage InfiniBand/RDMA et les plateformes basées sur des contrôleurs/CRD Kubernetes, et considèrent l'infrastructure GPU, ainsi que les outils qui assurent sa fiabilité, comme des logiciels à concevoir.

Une mentalité produit s'applique : l'expérience d'astreinte, la clarté d'une alerte et le jugement intégré dans une remédiation automatisée sont des éléments que vous livrez et sur lesquels vous itérez.

Nous offrons une rémunération compétitive, des actions de startup, une assurance santé et d'autres avantages compétitifs. La fourchette de salaire de base aux États-Unis pour ce poste à temps plein est de : $160,000 - $280,000 + actions + avantages. Nos fourchettes salariales sont déterminées par le lieu, le niveau et le rôle. La rémunération individuelle sera déterminée par l'expérience, les compétences et les connaissances liées au poste.

Together AI est un employeur offrant l'égalité des chances et est fier d'offrir l'égalité d'accès à l'emploi à tous, indépendamment de la race, de la couleur, de l'ascendance, de la religion, du sexe, de l'origine nationale, de l'orientation sexuelle, de l'âge, de la citoyenneté, de l'état civil, du handicap, de l'identité de genre, du statut d'ancien combattant, et plus encore.

Veuillez consulter notre politique de confidentialité sur together.ai/privacy.