États-Unis
Esri
Databricks
Ingénieur Logiciel Staff - Inférence GenAI
États-Unis
San Francisco, California, United States
Traduction automatique. Consultez l’original.
À propos du poste
P-1285 À PROPOS DE CE POSTE
En tant qu'ingénieur logiciel Staff pour l'inférence GenAI, vous dirigerez l'architecture, le développement et l'optimisation du moteur d'inférence qui alimente les Databricks Foundation Model API.. Vous ferez le pont entre les avancées de la recherche et les exigences de production, en garantissant un débit élevé, une faible latence et une mise à l'échelle robuste. Votre travail englobera la pile complète d'inférence GenAI : noyaux, runtimes, orchestration, mémoire et intégration avec les frameworks et les systèmes d'orchestration.
CE QUE VOUS FEREZ
- Être responsable et piloter l'architecture, la conception et la mise en œuvre du moteur d'inférence, et collaborer sur la pile de service de modèles optimisée pour l'inférence à grande échelle de LLMs.
- Collaborer étroitement avec les chercheurs pour intégrer de nouvelles architectures ou fonctionnalités de modèles (sparsité, compression d'activation, mélange d'experts) dans le moteur.
- Diriger l'optimisation de bout en bout pour la latence, le débit, l'efficacité mémoire et l'utilisation du matériel sur les GPU et les accélérateurs.
- Définir et guider les normes pour construire et maintenir des outils d'instrumentation, de profilage et de traçage afin de découvrir les goulots d'étranglement et de guider les optimisations.
- Concevoir des mécanismes évolutifs de routage, de batching, de planification, de gestion de la mémoire et de chargement dynamique pour les charges de travail d'inférence.
- Assurer la fiabilité, la reproductibilité et la tolérance aux pannes dans les pipelines d'inférence, y compris les lancements A/B, les rollbacks et le versionnement des modèles.
- Collaborer de manière interfonctionnelle à l'intégration avec une infrastructure d'inférence fédérée et distribuée – orchestrer entre les nœuds, équilibrer la charge, gérer la surcharge de communication.
- Piloter la collaboration inter-équipes : avec les ingénieurs plateforme, l'infrastructure cloud et les équipes de sécurité/conformité.
- Représenter l'équipe en externe par le biais de benchmarks, de livres blancs et de contributions open-source.
Prérequis
CE QUE NOUS RECHERCHONS
- BS/MS/PhD en informatique ou dans un domaine connexe.
- Solide expérience en ingénierie logicielle (6+ années ou équivalent) dans des systèmes critiques en termes de performance.
- Expérience avérée dans la prise en charge de composants système complexes et la conduite de décisions architecturales de bout en bout.
- Compréhension approfondie des internes de l'inférence ML : attention, MLP, modules récurrents, quantification, opérations éparses, etc.
- Expérience pratique avec CUDA, la programmation GPU et les bibliothèques clés (cuBLAS, cuDNN, NCCL, etc.).
- Solide expérience dans la conception de systèmes distribués, y compris les frameworks RPC, la mise en file d'attente, le batching RPC, le sharding, le partitionnement de mémoire.
- Capacité démontrée à identifier et résoudre les goulots d'étranglement de performance à travers les couches (noyau, mémoire, réseau, ordonnanceur).
- Expérience dans la construction d'outils d'instrumentation, de traçage et de profilage pour les modèles ML.
- Capacité à diriger par influence - travailler en étroite collaboration avec les chercheurs ML, traduire les idées de modèles novatrices en systèmes de production.
- Excellentes compétences en communication et en leadership, avec un état d'esprit proactif et axé sur la responsabilité.
- Bonus : recherche publiée ou contributions open-source dans les systèmes ML, l'optimisation de l'inférence ou le service de modèles.
Transparence de la fourchette salariale
Databricks s'engage à des pratiques de rémunération justes et équitables. Les fourchettes de rémunération pour ce poste sont indiquées ci-dessous et représentent la fourchette de salaire attendue pour les postes non commissionnables ou les revenus cibles pour les postes commissionnables. La rémunération réelle est basée sur plusieurs facteurs uniques à chaque candidat, y compris, mais sans s'y limiter, les compétences liées au poste, la profondeur de l'expérience, les certifications et la formation pertinentes, et le lieu de travail spécifique. Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute la largeur de la fourchette. Le package de rémunération totale pour ce poste peut également inclure l'éligibilité à une prime de performance annuelle, des actions et les avantages listés ci-dessus. Pour plus d'informations sur la fourchette correspondant à votre localisation, visitez notre page ici databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Fourchette salariale locale $190,900—$232,800 USD
Notre engagement envers la diversité et l'inclusion
Chez Databricks, nous nous engageons à favoriser une culture diversifiée et inclusive où chacun peut exceller. Nous prenons grand soin de garantir que nos pratiques d'embauche sont inclusives et respectent les normes d'égalité des chances en matière d'emploi. Les personnes recherchant un emploi chez Databricks sont considérées sans égard à l'âge, la couleur, le handicap, l'ethnicité, le statut familial ou matrimonial, l'identité ou l'expression de genre, la langue, l'origine nationale, la capacité physique et mentale, l'affiliation politique, la race, la religion, l'orientation sexuelle, le statut socio-économique, le statut d'ancien combattant et d'autres caractéristiques protégées.
Conformité
Si l'accès à une technologie ou à un code source soumis au contrôle des exportations est requis pour l'exécution des fonctions du poste, il appartient à l'employeur de décider s'il convient de demander une licence du gouvernement américain pour ces postes, et l'employeur peut refuser de poursuivre avec un candidat sur cette seule base.
À propos de Databricks
Databricks est la société Data et IA. Plus de 20,000 organisations dans le monde — y compris adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever, et 70% des entreprises du Fortune 500 — s'appuient sur la plateforme Data + AI de Databricks pour construire et faire évoluer des applications, des analyses et des agents de données et d'IA. Basée à San Francisco avec plus de 30 bureaux dans le monde entier, Databricks propose une plateforme unifiée qui comprend Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks, et Instagram instagram.com/databricksinc/?hl=en.
Avantages
Chez Databricks, nous nous efforçons de proposer des avantages et privilèges complets qui répondent aux besoins de tous nos collaborateurs. Pour plus de détails sur les avantages offerts dans votre région, cliquez ici docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil