Databricks

Staff Software Engineer - Distributed Data Systems

JavaSQLAWSC++Go
Traduction automatique. Consultez l’original.

À propos du poste

988

Chez Databricks, nous avons à cœur de permettre aux équipes de données de résoudre les problèmes les plus complexes au monde, qu'il s'agisse de concrétiser le prochain mode de transport ou d'accélérer le développement d'avancées médicales. Pour ce faire, nous concevons et exploitons la meilleure plateforme d'infrastructure de données et d'IA au monde, afin que nos clients puissent utiliser des informations approfondies sur leurs données pour améliorer leur activité. Fondée par des ingénieurs et centrée sur le client, notre entreprise saisit chaque occasion de relever des défis techniques, de la conception d'interfaces UI/UX de nouvelle génération pour l'interaction avec les données à la mise à l'échelle de nos services et de notre infrastructure sur des millions de machines virtuelles. Et nous ne faisons que commencer.

L'analyse de données moderne utilise des méthodes sophistiquées telles que le machine learning qui vont bien au-delà des capacités de cumul et d'exploration des moteurs de requête SQL traditionnels. En tant qu'ingénieur logiciel au sein de l'équipe Runtime chez Databricks, vous développerez la prochaine génération de systèmes de stockage et de traitement de données distribués capables de surpasser les moteurs de requête SQL spécialisés en termes de performances de requêtes relationnelles, tout en offrant l'expressivité et les abstractions de programmation nécessaires pour prendre en charge diverses charges de travail, de l'ETL à la science des données.

Voici quelques exemples de projets

  1. Apache Spark™ : Développer le framework standard open source de facto pour le Big Data.
  1. Stockage du plan de données : Fournir des services et des bibliothèques clientes fiables et performants pour stocker et accéder à d'énormes quantités de données sur des backend de stockage cloud, par exemple AWS S3, Azure Blob Store.
  1. Delta Lake : Un système de gestion de stockage qui combine l'échelle et la rentabilité des data lakes, la performance et la fiabilité d'un data warehouse, et la faible latence du streaming. Ses abstractions de haut niveau et ses garanties, notamment les transactions ACID et le time travel, simplifient considérablement la complexité de l'architecture d'ingénierie des données réelle.
  1. Delta Pipelines : Il est difficile de gérer ne serait-ce qu'un seul pipeline d'ingénierie de données. L'objectif du projet Delta Pipelines est de rendre simple et possible l'orchestration et l'exploitation de dizaines de milliers de pipelines de données. Il fournit une abstraction de haut niveau pour exprimer les pipelines de données et permet aux clients de déployer, tester et mettre à niveau leurs pipelines, éliminant ainsi les charges opérationnelles liées à la gestion et à la construction de pipelines de données de haute qualité.
  1. Ingénierie de la performance : Construire la prochaine génération d'optimiseur de requêtes et de moteur d'exécution qui soit rapide, sans réglage manuel, évolutif et robuste.

Prérequis

Ce que nous recherchons

  1. Licence (ou diplôme supérieur) en informatique, dans un domaine technique connexe ou expérience pratique équivalente.
  1. À l'aise avec le travail sur une vision pluriannuelle avec des livrables progressifs.
  1. Motivé par la création de valeur et d'impact pour le client.
  1. 8+ années d'expérience en environnement de production avec Java, Scala ou C++.
  1. Solides bases en algorithmes et structures de données ainsi que dans leurs cas d'utilisation réels.
  1. Expérience avec les systèmes distribués, les bases de données et les systèmes Big Data (Apache Spark, Hadoop).

Transparence de la fourchette salariale

Databricks s'engage à pratiquer une rémunération juste et équitable. La ou les fourchettes salariales pour ce poste sont indiquées ci-dessous et représentent la fourchette de salaire attendue pour les postes sans commission ou les revenus cibles pour les postes avec commission.

Les packages de rémunération réels sont basés sur plusieurs facteurs propres à chaque candidat, incluant, sans s'y limiter, les compétences liées au poste, l'étendue de l'expérience, les certifications et formations pertinentes, ainsi que le lieu de travail spécifique.

Sur la base des facteurs ci-dessus, Databricks prévoit d'utiliser toute l'étendue de la fourchette. Le package de rémunération total pour ce poste peut également inclure l'éligibilité à une prime de performance annuelle, des actions et les avantages sociaux énumérés ci-dessus.

Pour plus d'informations concernant la fourchette correspondant à votre localisation, veuillez consulter notre page ici databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf.

Fourchette salariale locale

$182,400—$247,000 USD

Notre engagement en faveur de la diversité et de l'inclusion

Chez Databricks, nous nous engageons à favoriser une culture diversifiée et inclusive où chacun peut exceller. Nous veillons scrupuleusement à ce que nos pratiques d'embauche soient inclusives et respectent les normes d'égalité des chances en matière d'emploi. Les personnes souhaitant travailler chez Databricks sont prises en considération sans distinction d'âge, de couleur, de handicap, d'origine ethnique, de situation familiale ou maritale, d'identité ou d'expression de genre, de langue, d'origine nationale, de capacité physique ou mentale, d'affiliation politique, de race, de religion, d'orientation sexuelle, de statut socio-économique, de statut d'ancien combattant ou de toute autre caractéristique protégée.

Conformité

Si l'accès à une technologie ou à un code source soumis à des contrôles à l'exportation est requis pour l'exécution des tâches, il appartient à l'employeur de décider s'il convient de demander une licence du gouvernement américain pour ces postes, et l'employeur peut refuser de donner suite à une candidature sur cette seule base.

À propos de Databricks

Databricks est l'entreprise de données et d'IA. Plus de 20,000 organisations dans le monde — dont adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever et 70% du Fortune 500 — s'appuient sur la plateforme Data + AI de Databricks pour créer et mettre à l'échelle des applications, des analyses et des agents de données et d'IA. Basée à San Francisco avec plus de 30 bureaux dans le monde, Databricks propose une plateforme unifiée qui inclut Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse et Unity Catalog. Pour en savoir plus, suivez Databricks sur LinkedIn linkedin.com/company/databricks, X x.com/databricks, YouTube youtube.com/@Databricks et Instagram instagram.com/databricksinc/?hl=en.

Avantages

Chez Databricks, nous nous efforçons de fournir des avantages sociaux et des avantages en nature complets qui répondent aux besoins de tous nos employés. Pour des détails spécifiques sur les avantages offerts dans votre région, cliquez ici docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing.

Plus d’opportunités avec un seul profil

Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.

Créer mon profil

Ton prochain jobest déjà à ta recherche.

Nort

Plateforme de recrutement inversé pour développeurs

Réseaux sociauxInstagramLinkedInTwitter