Launch Legends
Databricks
Staff Software Engineer - AI Research Infrastructure
À propos du poste
STAFF SOFTWARE ENGINEER - INFRASTRUCTURE DE RECHERCHE IA
Chez Databricks, nous sommes obsédés par l'idée de permettre aux équipes de données de résoudre les problèmes les plus difficiles du monde, de la détection de menaces de sécurité au développement de médicaments contre le cancer. Nous le faisons en construisant et en exploitant la meilleure plateforme de données et d'IA au monde afin que nos clients puissent se concentrer sur les défis à haute valeur ajoutée qui sont au cœur de leurs propres missions.
L'organisation de Recherche IA de Databricks permet aux entreprises de développer des modèles et des agents IA en utilisant leurs propres données, avec des technologies allant des LLMs open source post-formation au développement d'architectures multi-agents avancées. Databricks IA le fait en produisant de nouvelles sciences et en les mettant en production. Databricks AI est convaincu qu'un modèle et des agents IA d'une entreprise sont aussi précieux que toute autre propriété intellectuelle fondamentale, et que l'IA de haute qualité devrait être accessible à tous.
Transparence de la fourchette salariale
P-1215
Databricks s'engage à des pratiques de rémunération justes et équitables. La ou les fourchettes salariales pour ce poste sont indiquées ci-dessous et représentent la fourchette de salaire attendue pour les postes non commissionnables ou les revenus cibles pour les postes commissionnables. La rémunération réelle est basée sur plusieurs facteurs uniques à chaque candidat, y compris, mais sans s'y limiter, les compétences liées au poste, la profondeur de l'expérience, les certifications et formations pertinentes, et le lieu de travail spécifique.
Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute la largeur de la fourchette. La rémunération totale pour ce poste peut également inclure l'éligibilité à une prime de performance annuelle, des actions et les avantages listés ci-dessus.
Pour plus d'informations sur la fourchette correspondant à votre localisation, visitez notre page ici databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Fourchette salariale locale
$199,000—$270,000 USD
Notre engagement envers la diversité et l'inclusion
Chez Databricks, nous nous engageons à favoriser une culture diversifiée et inclusive où chacun peut exceller. Nous prenons grand soin de veiller à ce que nos pratiques d'embauche soient inclusives et respectent les normes d'égalité des chances en matière d'emploi. Les personnes recherchant un emploi chez Databricks sont considérées sans égard à l'âge, la couleur, le handicap, l'origine ethnique, le statut familial ou matrimonial, l'identité ou l'expression de genre, la langue, l'origine nationale, la capacité physique et mentale, l'affiliation politique, la race, la religion, l'orientation sexuelle, le statut socio-économique, le statut d'ancien combattant et d'autres caractéristiques protégées.
Conformité
Si l'accès à une technologie ou à un code source contrôlé par les exportations est requis pour l'exécution des fonctions du poste, il est à la discrétion de l'employeur de demander une licence du gouvernement américain pour de tels postes, et l'employeur peut refuser de procéder avec un candidat sur cette seule base.
Description du poste
En tant qu'ingénieur logiciel Staff, Infrastructure de recherche en IA, vous développerez et exploiterez la pile de recherche qui alimente la recherche en IA de Databricks. Vous concevrez et développerez des services permettant de planifier, d'orchestrer et d'observer des charges de travail d'expérimentation d'entraînement et d'inférence à grande échelle sur des milliers de GPU, d'améliorer nos outils de développement et de garantir que les chercheurs puissent itérer rapidement sans sacrifier la fiabilité, l'efficacité ou la sécurité.
Vous travaillerez en étroite collaboration avec des scientifiques de la recherche, des ingénieurs ML et des équipes de plateforme pour transformer les charges de travail expérimentales en pipelines robustes et reproductibles, et pour repousser les limites de ce que notre infrastructure peut supporter.
L'impact que vous aurez
En tant qu'ingénieur logiciel Staff au sein de l'équipe Infrastructure de recherche en IA chez Databricks, vous :
- Concevrez et mettrez en œuvre l'infrastructure qui prend en charge les expériences à grande échelle, le traitement des données et l'entraînement de modèles (par exemple, clusters HPC, flottes de GPU ou systèmes basés sur le cloud).
- Permettrez aux chercheurs de passer de l'idée à l'expérience à grande échelle en quelques minutes, et non en quelques jours, en construisant des abstractions puissantes pour la soumission de travaux, la planification et la surveillance.
- Créerez des outils qui améliorent la productivité des développeurs de recherche, tels que des systèmes de gestion d'expériences, une infrastructure CI/tests pour le code de recherche et des flux de travail qui réduisent le temps d'itération.
- Influencerez la feuille de route à long terme pour le calcul de recherche, façonnant la manière dont la Recherche IA de Databricks entraîne, évalue et expédie des modèles aux clients.
- Servirez de mentor technique et de multiplicateur de force pour les autres ingénieurs travaillant sur les systèmes de calcul, d'infrastructure et d'IA.
Ce que nous recherchons
- BS/MS ou PhD en informatique ou dans un domaine connexe
- 5+ années d'expérience en ingénierie logicielle, y compris un temps substantiel passé à travailler sur des systèmes distribués ou des infrastructures à grande échelle.
- Avoir une expérience approfondie dans la construction et l'exploitation de systèmes distribués, de pipelines de données ou de services backend à grande échelle, impliquant idéalement des GPU, des clusters ou des fournisseurs de cloud majeurs.
- Maîtriser un ou plusieurs langages de programmation système (par exemple, C++, Rust, Go, Java, Scala) et être capable de concevoir, implémenter et déboguer des services complexes.
- Avoir construit ou contribué de manière significative à des planificateurs de clusters, des gestionnaires de ressources ou des systèmes d'orchestration de travaux à grande échelle (par exemple, Kubernetes, Slurm, Ray, systèmes internes personnalisés).
- Comprendre les flux de travail modernes d'entraînement et d'inférence ML (par exemple, entraînement distribué, parallélisme de modèle, réglage fin, évaluation), même si vous n'êtes pas principalement un scientifique de la recherche.
- Être capable d'agir rapidement et d'être pragmatique pour accomplir les tâches, tout en se souciant de l'excellence opérationnelle. Avoir mené des systèmes complexes du prototype à des services stables et bien gérés.
- Communiquer clairement avec les chercheurs et les ingénieurs, et aimer traduire entre les besoins de la recherche et les réalités de l'infrastructure.
À propos de Databricks
Databricks est l'entreprise de données et d'IA. Plus de 20,000 organisations dans le monde — y compris adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever, et 70% des entreprises du Fortune 500 — s'appuient sur la plateforme de données et d'IA Databricks pour construire et faire évoluer des applications, des analyses et des agents de données et d'IA. Basée à San Francisco avec plus de 30 bureaux dans le monde entier, Databricks propose une plateforme unifiée qui comprend Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks et Instagram instagram.com/databricksinc/?hl=en.
Avantages
Chez Databricks, nous nous efforçons de proposer un ensemble complet d'avantages sociaux et d'avantages en nature qui répondent aux besoins de tous nos collaborateurs. Pour plus de détails sur les avantages offerts dans votre région, cliquez ici docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
