Estados Unidos
Roku
3M Consultancy
Desenvolvedor Databricks (Java & Apache Spark) com liberação IRS MBI necessária
RemotoEstados Unidos
United States
PythonJavaSQLKubernetes
Tradução automática. Consulte o original.
Título da Vaga: Desenvolvedor Databricks (Java & Apache Spark)
Esta é uma posição remota.
Localização: Remoto
Duração: Tempo Integral
Requisitos mínimos
NECESSÁRIO Liberação IRS MBI.
O que procuramos
- Liberação ativa de background federal (laptop emitido pelo cliente é um plus)
- Bacharelado em Ciência da Computação ou área relacionada
- 8+ anos de experiência prática em engenharia de dados ou desenvolvimento de big data
Habilidades Técnicas
Dados e Sistemas
- Experiência trabalhando com sistemas de dados empresariais ou governamentais de grande porte
- Bom entendimento de estruturas de dados, segurança e conformidade
Java
- Forte experiência com Java 8 ou mais recente
- Confortável com Streams, Lambdas e design orientado a objetos
Apache Spark
- Experiência prática com Spark Core, Spark SQL e DataFrames
- Entendimento de RDDs e quando usá-los
- Experiência com processamento em lote e streaming
- Fortes habilidades em ajuste de desempenho de Spark
- Capaz de depurar jobs usando a UI e logs do Spark
Ferramentas de Big Data
- Experiência com ferramentas como HDFS, Hive ou HBase
- Familiaridade com Kafka, S3 ou data lakes baseados em nuvem
- Experiência com formatos Parquet, Avro ou ORC
ETL e Processamento de Dados
- Experiência na construção de pipelines ETL em lote e em tempo real
- Habilidade em limpeza, transformação e enriquecimento de dados
DevOps e Implantação
- Experiência executando Spark em YARN, Kubernetes ou plataformas de nuvem
- Familiaridade com ferramentas de CI/CD como Jenkins ou Ações GitHub
- Experiência com ferramentas de monitoramento e logs de produção
Testes e Qualidade de Código
- Testes unitários usando JUnit ou TestNG
- Experiência com Mockito ou ferramentas similares
- Confortável validando dados e testando jobs Spark
Como você terá sucesso
- Você está acostumado a trabalhar em equipes Ágeis
- Você documenta seu trabalho claramente
- Você se mantém calmo e focado ao solucionar problemas de produção
Estamos procurando um Desenvolvedor Databricks que possa projetar, construir e dar suporte a soluções de processamento de dados em larga escala. Esta função se concentra no trabalho com dados complexos e de alto volume em um ambiente seguro. Você deve se sentir confortável escrevendo código Java limpo, construindo jobs Spark e melhorando o desempenho em sistemas distribuídos.
Você trabalhará em estreita colaboração com engenheiros, analistas e equipes de negócios para entregar pipelines de dados confiáveis que escalam bem e atendem aos requisitos de segurança e conformidade.
O que você fará
- Construir e manter pipelines de dados usando Apache Spark no Databricks
- Escrever código Java limpo e eficiente (Java 8 ou superior) seguindo as melhores práticas de codificação
- Trabalhar com grandes conjuntos de dados estruturados e semiestruturados
- Ajustar jobs Spark para melhorar o desempenho, a estabilidade e o custo
- Colaborar com outras equipes para entender os requisitos e entregar soluções
- Garantir que o manuseio de dados siga os padrões de segurança e governança
- Investigar e corrigir problemas em ambientes de produção
Seria bom ter
- Experiência com Scala ou Python em Spark
- Experiência prática com Databricks ou Google Dataproc
- Conhecimento de Delta Lake ou Apache Iceberg
- Experiência em modelagem de dados e design de desempenho
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil