États-Unis
Launch Legends
Anthropic
Ingénieur.e Performance, Systèmes d'Inférence
États-Unis
San Francisco, California, United States · New York, New York, United States · Seattle, Washington, United States
PythonSQL
Traduction automatique. Consultez l’original.
À propos d'Anthropic
La mission d'Anthropic est de créer des systèmes d'IA fiables, interprétables et orientables. Nous voulons que l'IA soit sûre et bénéfique pour nos utilisateurs et pour la société dans son ensemble. Notre équipe est un groupe en croissance rapide de chercheurs, d'ingénieurs, d'experts en politique et de dirigeants d'entreprise engagés qui travaillent ensemble pour construire des systèmes d'IA bénéfiques.
À propos du poste
La flotte d'inférence d'Anthropic dessert Claude pour des millions d'utilisateurs à travers nos propres produits et les plus grandes plateformes cloud du monde. La pile qui rend cela possible est profonde et étroitement couplée : noyaux d'accélérateurs, serveurs de modèles, routage distribué, autoscaling, gestion de capacité. Chaque couche affecte les autres, souvent d'une manière difficile à voir isolément.
L'équipe des dynamiques des systèmes d'inférence est responsable de la compréhension de l'ensemble du système et de son maintien à un niveau élevé selon quatre dimensions : débit, latence, fiabilité et exactitude. Nous mesurons la performance de la flotte par rapport à sa frontière de performance théorique, menons des investigations inter-couches pour expliquer les écarts, et assurons les vérifications d'exactitude qui garantissent que les sorties de Claude sont correctes, pas seulement rapides, sur différentes plateformes matérielles et configurations de service. Nous ne sommes pas propriétaires des composants individuels. Nous les instrumentons et les modélisons, trouvons les opportunités les plus efficaces entre eux, et collaborons avec les équipes propriétaires pour obtenir les succès.
Vous travaillerez sur les quatre aspects. Une semaine, cela pourrait signifier tracer une régression de latence sur les requêtes extrêmes, depuis le timing des requêtes jusqu'au routage et au batching, en passant par la surcharge du noyau ; la semaine suivante, cela pourrait signifier affiner une évaluation d'exactitude pour qu'elle détecte une régression de sortie introduite par un changement de quantification. Nous recherchons des ingénieurs de performance qui traitent l'exactitude comme faisant partie de la performance.
Responsabilités clés
- Mener des investigations de performance inter-couches sur le débit, la latence et la fiabilité, quantifier l'écart entre la performance réelle de la flotte et les limites théoriques, identifier les causes profondes et quantifier la valeur de leur réduction.
- Être responsable et améliorer le pipeline d'évaluation de l'exactitude qui valide la qualité des sorties du modèle sur différentes plateformes matérielles, numériques et configurations de service, et diriger l'investigation lorsqu'il détecte une régression.
- Construire l'observabilité, les tableaux de bord et les outils de modélisation qui rendent le débit, la latence, le coût, la fiabilité, l'exactitude et leurs interactions lisibles à travers la pile.
- Collaborer avec les équipes de noyaux, de service, de routage, d'autoscaling et de capacité pour prioriser et mettre en œuvre les optimisations à plus fort impact que votre analyse met en évidence.
- Classer impitoyablement une large surface d'opportunités par impact et effort, et refuser celles qui ne correspondent pas.
Qualifications minimales
- Expérience pratique en ingénierie de performance : profilage, analyse de performance, optimisation de latence/débit et investigation des causes profondes dans des systèmes de production complexes.
- Maîtrise de Python, avec la capacité de lire, d'instrumenter et de contribuer à de grandes bases de code de production que vous n'avez pas écrites.
- Solides compétences en analyse de données (par exemple, SQL, pandas, ou similaires) suffisantes pour transformer des données brutes en conclusions claires.
- Capacité à communiquer clairement des résultats quantitatifs par écrit pour influencer les priorités des équipes que vous ne gérez pas.
- Intérêt réel pour l'exactitude en tant que discipline d'ingénierie : numérique, conception d'évaluation, détection de régressions.
Logistique
- Diplôme minimum : Licence ou une combinaison équivalente d'études, de formation et/ou d'expérience.
- Domaine d'études requis : Un domaine pertinent pour le poste, démontré par des cours, une formation ou une expérience professionnelle.
- Années d'expérience minimum : Les années d'expérience requises seront en corrélation avec les exigences du niveau de poste interne pour le poste.
Qualifications préférées
- Expérience avec les systèmes d'IA, en particulier l'infrastructure d'entraînement ou d'inférence ou les piles de service LLM générales. Une expérience directe en inférence à grande échelle est un plus.
- Connaissance des concepts de performance GPU/TPU/accélérateurs (bande passante mémoire, surcharges de noyaux, quantification, communication collective). Raisonner sur ces sujets est plus important que d'avoir écrit des noyaux vous-même.
- Expérience en ingénierie de fiabilité pour les services à haut débit : autoscaling, équilibrage de charge, routage des requêtes, latence des requêtes extrêmes.
- Expérience avec les pipelines d'évaluation de modèles ou de détection de régressions numériques.
- Expérience dans la construction d'observabilité ou de télémétrie pour les systèmes distribués.
- À l'aise pour avoir un impact par l'influence et les preuves plutôt que par la propriété directe.
Projets représentatifs
- Tracer un écart de latence de 350 ms sur une nouvelle plateforme d'accélérateur, de la fin à la fin du timing des requêtes jusqu'à une surcharge de planification du serveur, quantifier le gain et obtenir la correction directement ou avec l'équipe propriétaire.
- Redéfinir le seuil d'évaluation de l'exactitude : déterminer quels signaux détectent de manière fiable les régressions réelles de sortie du modèle par rapport au bruit, et en faire le critère de publication de confiance sur tous les backends matériels.
- Construire un entonnoir FLOPs qui décompose où va réellement le calcul à travers la flotte, exposant l'écart entre le débit atteint et les limites des noyaux.
- Identifier la cause profonde d'une divergence numérique entre deux plateformes matérielles jusqu'à un changement de noyau spécifique, et définir le seuil d'acceptation pour l'avenir.
- Modéliser l'impact latence-coût du changement des cibles de taille de lot et d'utilisation, et transformer le résultat en signal utilisé par l'autoscaler en production.
Date limite de candidature : Aucune. Les candidatures seront examinées au fur et à mesure.
La fourchette de rémunération annuelle pour ce poste est indiquée ci-dessous.
Pour les postes de vente, la fourchette indiquée est la fourchette de rémunération cible ("OTE") pour le poste, ce qui signifie que la fourchette comprend à la fois les commissions de vente/les primes de vente cibles et le salaire de base annuel pour le poste.
Salaire annuel
$350,000—$850,000 USD
- Politique hybride basée sur le lieu : Actuellement, nous nous attendons à ce que tout le personnel soit dans l'un de nos bureaux au moins 25% du temps. Cependant, certains postes peuvent nécessiter plus de temps dans nos bureaux.
- Sponsorship de visa : Nous sponsorisons des visas ! Cependant, nous ne pouvons pas sponsoriser de visas pour tous les postes et tous les candidats. Mais si nous vous faisons une offre, nous ferons tous les efforts raisonnables pour vous obtenir un visa, et nous faisons appel à un avocat spécialisé en immigration pour nous aider.
Nous vous encourageons à postuler même si vous ne pensez pas remplir toutes les qualifications. Tous les candidats solides ne rempliront pas toutes les qualifications énumérées. La recherche montre que les personnes qui s'identifient comme appartenant à des groupes sous-représentés sont plus susceptibles d'éprouver le syndrome de l'imposteur et de douter de la force de leur candidature, nous vous exhortons donc à ne pas vous exclure prématurément et à soumettre une candidature si ce travail vous intéresse. Nous pensons que les systèmes d'IA tels que ceux que nous construisons ont d'énormes implications sociales et éthiques. Nous pensons que cela rend la représentation encore plus importante, et nous nous efforçons d'inclure une gamme de perspectives diverses dans notre équipe.
Votre sécurité nous importe. Pour vous protéger contre d'éventuelles escroqueries, rappelez-vous que les recruteurs d'Anthropic vous contactent uniquement à partir d'adresses e-mail @anthropic.com. Dans certains cas, nous pouvons collaborer avec des agences de recrutement vérifiées qui s'identifieront comme travaillant pour le compte d'Anthropic. Méfiez-vous des e-mails provenant d'autres domaines. Les recruteurs légitimes d'Anthropic ne vous demanderont jamais d'argent, de frais ou d'informations bancaires avant votre premier jour. Si vous avez un doute sur une communication, ne cliquez sur aucun lien – visitez directement anthropic.com/careers pour connaître les offres de poste confirmées.
Venez travailler avec nous !
Anthropic est une société d'intérêt public (public benefit corporation) dont le siège est à San Francisco. Nous offrons une rémunération et des avantages compétitifs, une mise en correspondance optionnelle des dons d'actions, des congés parentaux et de vacances généreux, des horaires de travail flexibles et un espace de bureau agréable pour collaborer avec nos collègues. Directives sur l'utilisation de l'IA par les candidats : Apprenez-en davantage sur notre politique d'utilisation de l'IA dans notre processus de candidature.
Comment nous sommes différents
Nous pensons que la recherche en IA à plus fort impact sera de la grande science. Chez Anthropic, nous travaillons en une seule équipe cohérente sur quelques efforts de recherche à grande échelle. Et nous valorisons l'impact – faire progresser nos objectifs à long terme d'IA orientable et digne de confiance – plutôt que de travailler sur des énigmes plus petites et plus spécifiques. Nous considérons la recherche en IA comme une science empirique, qui a autant en commun avec la physique et la biologie qu'avec les efforts traditionnels en informatique. Nous sommes un groupe extrêmement collaboratif, et nous organisons des discussions de recherche fréquentes pour nous assurer que nous poursuivons le travail à plus fort impact à tout moment. À ce titre, nous accordons une grande valeur aux compétences en communication.
La meilleure façon de comprendre nos orientations de recherche est de lire nos recherches récentes. Ces recherches poursuivent plusieurs des orientations sur lesquelles notre équipe a travaillé avant Anthropic, notamment : GPT-3, Interprétabilité basée sur les circuits, Neurones multimodaux, Lois d'échelle, IA et Calcul, Problèmes concrets en sécurité de l'IA, et Apprentissage à partir des préférences humaines.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil