Roku
Databricks
Staff Software Engineer, Foundational Model Serving
À propos du poste
Chez Databricks, nous sommes passionnés par l'idée de permettre aux équipes de données de résoudre les problèmes les plus difficiles du monde — de faire du prochain mode de transport une réalité à l'accélération du développement de percées médicales. Nous y parvenons en construisant et en exploitant la meilleure plateforme d'infrastructure de données et d'IA au monde afin que nos clients puissent utiliser des informations approfondies sur les données pour améliorer leur activité.
Foundation Model Serving est le produit API pour l'hébergement et le service d'inférence de modèles d'IA de pointe pour les modèles open source comme Llama, Qwen et GPT OSS, ainsi que pour les modèles propriétaires comme Claude et OpenAI GPT. Pour ce rôle, aucune expérience préalable en ML ou IA n'est nécessaire. Nous recherchons des ingénieurs qui ont géré des systèmes sensibles à l'exploitation à grande échelle tels que des APIs orientés client, des passerelles Edge, l'inférence ML ou des services similaires et qui souhaitent approfondir la construction de LLM APIs et de runtimes à grande échelle.
En tant qu'ingénieur Staff, vous jouerez un rôle essentiel dans la définition de l'expérience produit et de l'infrastructure de base. Vous concevrez et développerez des systèmes permettant une inférence à haut débit et à faible latence sur des charges de travail GPU avec des modèles de pointe, vous influencerez les orientations architecturales et collaborerez étroitement avec les équipes plateforme, produit, infrastructure et recherche pour fournir un produit API de modèle fondamental de classe mondiale.
L'impact que vous aurez
- Concevoir et implémenter les systèmes et APIs principaux qui alimentent Databricks Foundation Model Serving, en garantissant l'évolutivité, la fiabilité et l'excellence opérationnelle.
- Collaborer avec la direction produit et ingénierie pour définir la feuille de route technique et l'architecture à long terme pour les charges de travail de service.
- Piloter les décisions architecturales et les compromis pour optimiser les performances, le débit, l'autoscaling et l'efficacité opérationnelle pour les charges de travail de service GPU.
- Contribuer directement aux composants clés de l'infrastructure de service — en travaillant sur des systèmes comme vLLM et SGLang pour créer des limiteurs de débit basés sur les tokens et des optimiseurs — en garantissant des opérations fluides et efficaces à grande échelle.
- Collaborer de manière interfonctionnelle avec les équipes produit, plateforme et recherche pour traduire les besoins des clients en systèmes fiables et performants.
- Établir les meilleures pratiques pour la qualité du code, les tests et la préparation opérationnelle, et encadrer d'autres ingénieurs par le biais d'examens de conception et de conseils techniques.
- Représenter l'équipe dans les discussions techniques inter-organisationnelles et influencer la stratégie plus large de la plateforme IA de Databricks.
Ce que nous recherchons
- 10+ années d'expérience dans la construction et l'exploitation de systèmes distribués à grande échelle.
- Expérience dans la direction de systèmes backend sensibles à l'exploitation à grande échelle.
- Un historique de rehaussement de l'excellence en ingénierie des équipes.
- Solides bases en algorithmes, structures de données et conception de systèmes appliquées aux systèmes de service à grande échelle et à faible latence.
- Capacité avérée à livrer des initiatives techniquement complexes et à fort impact qui créent une valeur mesurable pour le client ou l'entreprise.
- Solides compétences en communication et capacité à collaborer entre les équipes dans des environnements en évolution rapide.
- État d'esprit stratégique et orienté produit avec la capacité d'aligner l'exécution technique sur la vision à long terme.
- Passion pour le mentorat, le développement des ingénieurs et la promotion de l'excellence technique.
Transparence de la fourchette salariale
Databricks s'engage à des pratiques de rémunération justes et équitables. Les fourchettes de salaire pour ce rôle sont indiquées ci-dessous et représentent la fourchette de salaire attendue pour les postes non commissionnables ou les revenus cibles pour les postes commissionnables. La rémunération réelle est basée sur plusieurs facteurs qui sont uniques à chaque candidat, y compris, mais sans s'y limiter, les compétences liées au poste, la profondeur de l'expérience, les certifications et la formation pertinentes, et le lieu de travail spécifique. Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute la largeur de la fourchette. Le package de rémunération totale pour ce poste peut également inclure l'éligibilité à une prime de performance annuelle, des actions et les avantages listés ci-dessus. Pour plus d'informations sur la fourchette de votre localisation, visitez notre page ici databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Fourchette salariale locale $192,000—$260,000 USD
Notre engagement envers la diversité et l'inclusion
Chez Databricks, nous nous engageons à favoriser une culture diversifiée et inclusive où chacun peut exceller. Nous prenons grand soin de veiller à ce que nos pratiques d'embauche soient inclusives et respectent les normes d'égalité des chances en matière d'emploi. Les personnes recherchant un emploi chez Databricks sont considérées sans distinction d'âge, de couleur, de handicap, d'origine ethnique, de statut familial ou matrimonial, d'identité ou d'expression de genre, de langue, d'origine nationale, de capacité physique et mentale, d'affiliation politique, de race, de religion, d'orientation sexuelle, de statut socio-économique, de statut d'ancien combattant et d'autres caractéristiques protégées.
Conformité
Si l'accès à une technologie ou à un code source contrôlé par les réglementations d'exportation est requis pour l'exécution des fonctions du poste, il appartient à l'employeur de décider s'il convient de demander une licence du gouvernement américain pour de tels postes, et l'employeur peut refuser de poursuivre avec un candidat sur cette seule base.
À propos de Databricks
Databricks est la société Data et IA. Plus de 20,000 organisations dans le monde — y compris adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever, et 70% des Fortune 500 — s'appuient sur la plateforme Data + AI de Databricks pour construire et faire évoluer des applications, des analyses et des agents de données et d'IA. Basée à San Francisco avec plus de 30 bureaux dans le monde, Databricks propose une plateforme unifiée qui comprend Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks et Instagram instagram.com/databricksinc/?hl=en.
Avantages
Chez Databricks, nous nous efforçons de fournir des avantages et des avantages complets qui répondent aux besoins de tous nos employés. Pour des détails spécifiques sur les avantages offerts dans votre région, cliquez ici docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
