États-Unis
B&A
You.com
Ingénieur Backend Senior, Plateforme d'inférence
États-Unis
San Francisco, California, United States · New York, New York, United States
PythonKubernetes
Traduction automatique. Consultez l’original.
À propos de nous
Chez You.com, nous construisons l'infrastructure de recherche IA qui alimente les systèmes d'IA modernes. Notre objectif est de créer la couche de connaissances de confiance sur laquelle les agents, les applications et les entreprises s'appuient pour récupérer des informations en temps réel, précises et étayées par des citations.
Notre plateforme combine des index verticaux propriétaires avec des systèmes de récupération optimisés pour LLM afin d'alimenter les agents IA, les applications et les flux de travail en entreprise. Nous résolvons des problèmes complexes en matière de recherche, de grands modèles de langage et d'infrastructure à grande échelle pour rendre les systèmes d'IA plus fiables, transparents et utiles.
Notre équipe est composée d'ingénieurs, de chercheurs, de créateurs de produits et d'opérateurs qui ont à cœur de résoudre des problèmes significatifs et d'avoir un impact réel. Que vous amélioriez l'infrastructure de base, que vous façonniez des expériences produit ou que vous aidiez à mettre sur le marché de nouvelles capacités d'IA, votre travail contribuera à définir la manière dont l'IA moderne trouve et utilise les connaissances.
À propos du poste
Chaque appel de modèle provenant de nos produits et de nos clients passe par une seule couche : notre passerelle d'inférence. Elle permet aux utilisateurs de sélectionner un modèle et nous acheminons intelligemment l'appel pour optimiser les coûts, la latence et la haute disponibilité. Nous construisons actuellement le plan de contrôle au-dessus de celle-ci, afin de gérer et de régir l'accès, les performances et les coûts.
Vous serez responsable de cette passerelle et de son passage à l'échelle. Le travail se situe entre le service de modèles et le produit : routage et basculement entre les fournisseurs hébergés et nos propres modèles, décisions de routage tenant compte du cache, mesure suffisamment précise pour la facturation, et application des règles sur le chemin de la requête avec un budget de latence à un seul chiffre en millisecondes.
Il s'agit d'un poste en télétravail ouvert aux candidats basés partout aux États-Unis. Nous donnons la préférence aux candidats dans la région de la baie de San Francisco ou à New York, où nous avons des bureaux, mais nous serons heureux d'étudier les candidatures de candidats en télétravail solides ailleurs aux États-Unis.
Responsabilités
- Gérer la passerelle d'inférence par laquelle transite chaque appel de modèle, y compris la sélection du fournisseur et du modèle, le basculement et les plafonds
- Construire une couche d'intelligence pour choisir de manière autonome le bon modèle pour la bonne étape de la tâche
- Prendre des décisions de routage qui tiennent compte du comportement du cache de préfixe, du traitement par lots et du temps jusqu'au premier jeton, et pas seulement du prix et de la disponibilité
- Construire l'attribution des coûts et la mesure entre les fournisseurs, y compris la comptabilisation des jetons mis en cache, suffisamment précise pour facturer et appliquer des règles
- Construire une application des règles sur le chemin de la requête qui se dégrade gracieusement et n'interrompt jamais l'appel d'inférence d'un client
- Déployer les changements au moment de l'inférence d'abord en mode fantôme, avec la mesure pour prouver qu'ils fonctionnent
Qualifications
- Expérience pratique en production avec le service de modèles sur des piles telles que vLLM, SGLang (ou des plateformes similaires), avec une compréhension opérationnelle du traitement par lots continu, de la mise en cache KV et de préfixe, et du compromis entre le temps jusqu'au premier jeton et le débit
- Vous avez optimisé une pile de service face au trafic réel et savez ce qui fait bouger le p99 en pratique, pas seulement en théorie
- Maîtrise des APIs des fournisseurs : tokenisation, sémantique de mise en cache des invites, et les différences dans la manière dont l'utilisation et les jetons mis en cache sont rapportés et tarifés
- Expérience dans la construction ou l'exploitation d'un proxy, d'une passerelle ou d'un plan de données sur le chemin critique du trafic de production, avec un instinct sûr pour les pannes ouvertes
- Aisance avec les réponses en streaming et les parties délicates : état partiel, échecs en milieu de flux et travail qui ne peut être effectué qu'une fois le flux fermé
- Un profil généraliste backend solide (Python, Kubernetes). Nous attendons de vous que vous appreniez tout ce que vous n'avez pas encore touché
- Nous accordons plus d'importance à la trajectoire et à la croissance récente qu'aux années d'expérience
Responsabilités
- Expérience chez un fournisseur d'inférence ou dans le cloud GPU, ou contributions à une pile de service open-source
- Réglage fin et évaluation des modèles en production
- Mesure de l'utilisation, facturation ou optimisation des coûts à grande échelle
Nos bandes salariales sont structurées en fonction d'une combinaison de niveaux géographiques et de niveaux internes. La rémunération est déterminée par de multiples facteurs évalués au cours du processus d'entretien, l'offre finale reflétant ces considérations.
Bande salariale $200,000—$250,000 USD
*L'éligibilité aux avantages varie selon le type d'emploi et l'ancienneté.
You.com participe à E-Verify. Nous fournirons à la Social Security Administration (SSA) et, si nécessaire, au Department of Homeland Security (DHS) des informations provenant du formulaire I-9 de chaque nouvel employé pour confirmer l'autorisation de travail. (Anglais/Espagnol : Participation à E-Verify [drive.google.com/file/d/1u7vRUMjyxbI3xX7LkBiHgvzB8qUr8hfT/view?usp=drive_link]/Droit au travail drive.google.com/file/d/19uh4fecwISKmXyK3oh2SR958R70O3CVa/view?usp=drive_link) Nous sommes également un lieu de travail inclusif, équitable et accessible. Veuillez nous faire savoir si vous avez besoin d'un aménagement pour toute partie du processus de recrutement et d'embauche.
--------------------------------------------------------------------------------
MÉFIEZ-VOUS DES ESCROQUERIES AU RECRUTEMENT
You.com ne vous contactera que par le biais d'adresses e-mail officielles @You.com ramp.com/ et ne vous demandera jamais de paiement ou d'informations personnelles sensibles pendant le processus d'embauche.
--------------------------------------------------------------------------------
UTILISATION D'OUTILS D'IA PENDANT NOTRE PROCESSUS D'EMBAUCHE
Chez You.com, nous réfléchissons à la manière dont nous utilisons l'IA dans l'ensemble de notre entreprise, y compris dans notre processus d'embauche.
Au cours de certaines étapes du processus d'entretien, nous pouvons utiliser des outils alimentés par l'IA pour aider aux tâches administratives telles que la planification, la prise de notes, la transcription ou la synthèse des discussions d'entretien. Ces outils sont destinés à aider nos intervieweurs en améliorant la précision et l'efficacité — ils ne prennent pas de décisions d'embauche et ne remplacent pas le jugement humain.
Toutes les décisions d'emploi sont prises par notre équipe de recrutement et nos responsables du recrutement sur la base d'un examen holistique de chaque candidat et des critères d'évaluation applicables.
Si la prise de notes ou la transcription assistée par IA peut être utilisée pendant votre entretien, nous vous en informerons à l'avance. Si vous préférez ne pas participer à un entretien utilisant ces outils, vous pouvez refuser en informant votre recruteur avant votre entretien prévu. Nous travaillerons avec vous pour vous proposer une expérience d'entretien alternative lorsque cela est raisonnablement réalisable.
Les informations collectées pendant le processus d'embauche sont traitées conformément à notre Politique de confidentialité you.com/privacy et à la loi applicable. En poursuivant le processus de candidature, vous reconnaissez avoir lu cet avis. Si des outils assistés par IA sont utilisés pendant votre entretien et que vous n'avez pas refusé après avoir reçu l'avis, vous consentez à leur utilisation telle que décrite ci-dessus, là où la loi applicable le permet.
AVANTAGES DE L'ENTREPRISE
- Hubs à San Francisco et à New York proposant des rassemblements réguliers en personne et des sessions de co-working
- Congés payés flexibles avec jours fériés américains observés et une fermeture de fin d'année en décembre pour se reposer et se ressourcer*
- Un régime d'assurance maladie compétitif couvre 100% du titulaire de la police et 75% pour les personnes à charge*
- Adhésion à Function Health
- 12 semaines de congé parental payé aux États-Unis*
- Programme 401k, abondement de 3% - acquis immédiatement !*
- Allocation de télétravail de $500 à utiliser jusqu'à un an après votre date de début*
- Allocation technologique de $600 pour soutenir une partie des dépenses de téléphone portable et d'Internet de notre équipe hybride/à distance*
- Allocation Santé et Bien-être de $1,200 par an pour soutenir vos objectifs personnels*
- La chance de collaborer avec une équipe à la pointe de la recherche en IA
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil