États-Unis
Roku
3M Consultancy
Databricks Developer (Java & Apache Spark) avec habilitation IRS MBI requise
À distanceÉtats-Unis
United States
PythonJavaSQLKubernetes
Traduction automatique. Consultez l’original.
Titre du poste : Databricks Developer (Java & Apache Spark)
Ce poste est à pourvoir en télétravail.
Lieu : Télétravail
Durée : Temps plein
Prérequis
REQUIS Habilitation IRS MBI.
Ce que nous recherchons
- Habilitation de sécurité fédérale active (un ordinateur portable fourni par le client est un plus)
- Diplôme de licence en informatique ou dans un domaine connexe
- 8+ années d'expérience pratique en ingénierie de données ou développement big data
Compétences techniques
Données et Systèmes
- Expérience de travail avec de grands systèmes de données d'entreprise ou gouvernementaux
- Bonne compréhension des structures de données, de la sécurité et de la conformité
Java
- Solide expérience avec Java 8 ou plus récent
- À l'aise avec les Streams, les Lambdas et la conception orientée objet
Apache Spark
- Expérience pratique avec Spark Core, Spark SQL, et DataFrames
- Compréhension des RDD et quand les utiliser
- Expérience avec le traitement par lots et le streaming
- Solides compétences en optimisation des performances de Spark
- Capacité à déboguer des jobs en utilisant l'interface utilisateur et les logs de Spark
Outils Big Data
- Expérience avec des outils comme HDFS, Hive ou HBase
- Familiarité avec Kafka, S3, ou des data lakes basés sur le cloud
- Expérience avec les formats Parquet, Avro ou ORC
ETL & Traitement des données
- Expérience dans la construction de pipelines ETL batch et temps réel
- Compétences en nettoyage, transformation et enrichissement de données
DevOps & Déploiement
- Expérience d'exécution de Spark sur YARN, Kubernetes, ou des plateformes cloud
- Familiarité avec les outils de CI/CD comme Jenkins ou GitHub Actions
- Expérience avec les outils de monitoring et les logs de production
Tests et Qualité du Code
- Tests unitaires avec JUnit ou TestNG
- Expérience avec Mockito ou des outils similaires
- À l'aise pour valider les données et tester les jobs Spark
Comment vous réussirez
- Vous avez l'habitude de travailler en équipe Agile
- Vous documentez clairement votre travail
- Vous restez calme et concentré lors du dépannage des problèmes de production
Nous recherchons un développeur Databricks capable de concevoir, construire et supporter des solutions de traitement de données à grande échelle. Ce rôle se concentre sur le travail avec des données complexes et volumineuses dans un environnement sécurisé. Vous devez être à l'aise pour écrire du code Java propre, construire des jobs Spark et améliorer les performances dans les systèmes distribués.
Vous travaillerez en étroite collaboration avec les ingénieurs, les analystes et les équipes métier pour fournir des pipelines de données fiables qui évoluent bien et répondent aux exigences de sécurité et de conformité.
Ce que vous ferez
- Construire et maintenir des pipelines de données en utilisant Apache Spark sur Databricks
- Écrire du code Java propre et efficace (Java 8 ou supérieur) en suivant les meilleures pratiques de codage
- Travailler avec de grands ensembles de données structurées et semi-structurées
- Optimiser les jobs Spark pour améliorer les performances, la stabilité et les coûts
- Collaborer avec d'autres équipes pour comprendre les besoins et fournir des solutions
- S'assurer que la manipulation des données respecte les normes de sécurité et de gouvernance
- Enquêter et corriger les problèmes dans les environnements de production
Atouts supplémentaires
- Expérience avec Scala ou Python dans Spark
- Expérience pratique avec Databricks ou Google Dataproc
- Connaissance de Delta Lake ou Apache Iceberg
- Expérience en modélisation de données et conception de performances
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil