Roku
Databricks
Staff Software Engineer - AI Research Infrastructure
Über die Stelle
STAFF SOFTWARE ENGINEER - AI RESEARCH INFRASTRUCTURE
Bei Databricks ist es unser Ziel, Datenteams in die Lage zu versetzen, die weltweit schwierigsten Probleme zu lösen, von der Erkennung von Sicherheitsbedrohungen bis zur Krebsmedikamentenentwicklung. Dies erreichen wir durch den Aufbau und Betrieb der weltweit besten Daten- und KI-Plattform, damit sich unsere Kunden auf die hochwertigen Herausforderungen konzentrieren können, die für ihre eigenen Missionen zentral sind.
Die Databricks AI Research Organisation ermöglicht es Unternehmen, KI-Modelle und Agenten mit ihren eigenen Daten zu entwickeln, mit Technologien, die von Open-Source LLMs nach dem Training bis zur Entwicklung fortschrittlicher Multi-Agenten-Architekturen reichen. Databricks AI tut dies, indem es neue Wissenschaft hervorbringt und in die Produktion überführt. Databricks AI ist der Überzeugung verpflichtet, dass die KI-Modelle und Agenten eines Unternehmens genau so wertvoll sind wie jedes andere Kern-IP und dass hochwertige KI für alle verfügbar sein sollte.
Transparenz der Gehaltsspanne
P-1215
Databricks verpflichtet sich zu fairen und gerechten Vergütungspraktiken. Die Gehaltsspanne(n) für diese Rolle ist unten aufgeführt und stellt die erwartete Gehaltsspanne für nicht provisionspflichtige Rollen oder die Zielvergütung für provisionspflichtige Rollen dar. Die tatsächlichen Vergütungspakete basieren auf mehreren Faktoren, die für jeden Kandidaten einzigartig sind, darunter, aber nicht beschränkt auf, berufsbezogene Fähigkeiten, Tiefe der Erfahrung, relevante Zertifizierungen und Schulungen sowie der spezifische Arbeitsort.
Basierend auf den oben genannten Faktoren rechnet Databricks damit, die volle Breite der Spanne zu nutzen. Das gesamte Vergütungspaket für diese Position kann auch die Berechtigung für eine jährliche Leistungsprämie, Aktienoptionen und die oben genannten Leistungen umfassen.
Weitere Informationen darüber, in welcher Spanne sich Ihr Standort befindet, finden Sie hier auf unserer Seite databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.
Lokale Gehaltsspanne
$199,000—$270,000 USD
Unser Engagement für Vielfalt und Inklusion
Bei Databricks setzen wir uns für die Förderung einer vielfältigen und inklusiven Kultur ein, in der jeder erfolgreich sein kann. Wir achten sehr darauf, dass unsere Einstellungspraktiken integrativ sind und die Standards der gleichen Beschäftigungschancen erfüllen. Personen, die eine Anstellung bei Databricks suchen, werden unabhängig von Alter, Hautfarbe, Behinderung, Ethnie, Familien- oder Familienstand, Geschlechtsidentität oder -ausdruck, Sprache, Herkunft, physischer und geistiger Fähigkeit, politischer Zugehörigkeit, Rasse, Religion, sexueller Orientierung, sozioökonomischem Status, Veteranenstatus und anderen geschützten Merkmalen berücksichtigt.
Compliance
Wenn der Zugang zu exportkontrollierter Technologie oder Quellcode für die Erfüllung der Arbeitsaufgaben erforderlich ist, liegt es im Ermessen des Arbeitgebers, eine US-Regierungslizenz für solche Positionen zu beantragen, und der Arbeitgeber kann allein aus diesem Grund davon absehen, mit einem Bewerber fortzufahren.
Stellenbeschreibung
Als Staff Software Engineer im Bereich AI Research Infrastructure entwickeln und betreiben Sie den Forschungsstack, der Databricks AI Research antreibt. Sie entwerfen und erstellen Dienste, die groß angelegte Trainings- und Inferenz-Experiment-Workloads auf Tausenden von GPUs planen, orchestrieren und beobachten, verbessern unsere Entwicklertools und stellen sicher, dass Forscher schnell iterieren können, ohne auf Zuverlässigkeit, Effizienz oder Sicherheit zu verzichten.
Sie arbeiten eng mit wissenschaftlichen Forschern, ML-Ingenieuren und Plattformteams zusammen, um experimentelle Workloads in robuste, wiederholbare Pipelines zu verwandeln und die Grenzen dessen, was unsere Infrastruktur unterstützen kann, auszureizen.
Der Einfluss, den Sie haben werden
Als Staff Software Engineer im AI Research Infra Team bei Databricks werden Sie:
- Infrastruktur entwerfen und implementieren, die groß angelegte Experimente, datenverarbeitung und Modelltraining unterstützt (z. B. HPC-Cluster, GPU-Flotten oder Cloud-basierte Systeme).
- Forschern ermöglichen, von der Idee zum groß angelegten Experiment in Minuten statt Tagen zu gelangen, indem leistungsstarke Abstraktionen für die Job-Einreichung, -Planung und -Überwachung erstellt werden.
- Tools erstellen, die die Produktivität von Forschungsentwicklern verbessern, wie z. B. Experiment-Management-Systeme, CI/Testing-Infrastruktur für Forschungscode und Workflows, die die Iterationszeit verkürzen.
- Die langfristige Roadmap für Forschungsberechnungen beeinflussen und gestalten, wie Databricks AI Research Modelle für Kunden trainiert, bewertet und ausliefert.
- Als technischer Mentor und Multiplikator für andere Ingenieure fungieren, die an Rechen-, Infrastruktur- und KI-Systemen arbeiten.
Wonach wir suchen
- BS/MS oder PhD in Informatik oder einem verwandten Fachgebiet.
- 5+ Jahre Erfahrung in der Softwareentwicklung, einschließlich einer beträchtlichen Zeit mit der Arbeit an groß angelegten verteilten Systemen oder Infrastrukturen.
- Umfassende Erfahrung im Aufbau und Betrieb verteilter Systeme, von Datenpipelines oder groß angelegten backend-Diensten, idealerweise mit GPUs, Clustern oder großen Cloud-Anbietern.
- Versiert in einer oder mehreren Systemprogrammiersprachen (z. B. C++, Rust, Go, Java, Scala) und in der Lage, komplexe Dienste zu entwerfen, zu implementieren und zu debuggen.
- Entweder Cluster-Scheduler, Ressourcenmanager oder groß angelegte Job-Orchestrierungssysteme (z. B. Kubernetes, Slurm, Ray, benutzerdefinierte interne Systeme) entwickelt oder maßgeblich dazu beigetragen.
- Moderne ML-Trainings- und Inferenz-Workflows (z. B. verteiltes Training, Modellparallelität, Fine-Tuning, Evaluierung) verstehen, auch wenn Sie nicht primär ein Forschungswissenschaftler sind.
- Schnell agieren und pragmatisch sein, um Dinge zu erledigen, und dabei Wert auf betriebliche Exzellenz legen. Komplexe Systeme vom Prototyp zu stabilen, gut betriebenen Diensten entwickelt haben.
- Klar mit Forschern und Ingenieuren kommunizieren und Freude daran haben, zwischen Forschungsbedarf und Infrastrukturrealitäten zu übersetzen.
Über Databricks
Databricks ist das Data and AI Unternehmen. Mehr als 20,000 Organisationen weltweit – darunter adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever und 70% der Fortune 500 – verlassen sich auf die Databricks Data + AI Platform, um Daten- und KI-Apps, Analysen und Agenten zu erstellen und zu skalieren. Mit Hauptsitz in San Francisco und über 30 Büros weltweit bietet Databricks eine einheitliche Plattform, die Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse und Unity Catalog umfasst. Um mehr zu erfahren, folgen Sie Databricks auf LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks und Instagram instagram.com/databricksinc/?hl=en.
Leistungen
Bei Databricks bemühen wir uns, umfassende Leistungen und Vergünstigungen zubieten, die den Bedürfnissen all unserer Mitarbeiter entsprechen. Spezifische Details zu den in Ihrer Region angebotenen Leistungen finden Sie hier docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.
