Portugal
Mindrift
Sigma Software
Engenheiro de Dados Sênior (Migração Databricks)
Portugal
Lisbon, Portugal
PythonSQLAWSGCP
Tradução automática. Consulte o original.
Sobre a Empresa
Você é um Engenheiro de Dados Sênior apaixonado por construir plataformas de dados escaláveis e de alta performance, e por trabalhar com tecnologias modernas de Lakehouse? Junte-se ao Centro de Excelência em Engenharia de Dados da Sigma Software e contribua para a modernização de um ecossistema analítico em escala empresarial para o domínio de varejo.
Estamos procurando um especialista Sênior com forte experiência em Databricks, PySpark e engenharia de dados na nuvem para participar da migração de uma plataforma analítica de grande escala de BigQuery para Databricks. Você colaborará com equipes internacionais, contribuirá para decisões arquiteturais e ajudará a moldar soluções de dados confiáveis e escaláveis.
Na Sigma Software, criamos oportunidades para aprendizado contínuo, crescimento tecnológico e impacto significativo em engenharia, enquanto trabalhamos em projetos internacionais complexos.
PROJETO
O projeto foca na migração estratégica de uma plataforma analítica de grande escala de um ecossistema legado de BigQuery para uma arquitetura moderna de Lakehouse Databricks. A plataforma processa grandes volumes de dados de varejo, cargas de trabalho de machine learning, pipelines de análise e lógica de negócios específica do cliente.
Como parte da iniciativa de modernização, a equipe de engenharia está implementando processamento escalável baseado em Spark, arquitetura Delta Lake, camadas de dados medallion e práticas modernas de governança. A função oferece uma oportunidade de trabalhar com sistemas de processamento de dados distribuídos, otimizar cargas de trabalho em larga escala e contribuir para a evolução de uma plataforma de dados de nível empresarial.
Tecnologias Chave: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog
CLIENTE
Nosso Cliente é uma empresa líder em tecnologia de varejo especializada em soluções de otimização de preços baseadas em IA para grandes varejistas. A empresa ajuda negócios a melhorar a lucratividade e a competitividade através de análise avançada, automação e estratégias de precificação inteligentes. Sua plataforma combina business intelligence com algoritmos sofisticados para suportar decisões de precificação baseadas em dados em escala para organizações globais de varejo.
Descrição da Vaga
- Participar da migração de uma plataforma analítica de grande escala de BigQuery para Databricks
- Projetar e implementar arquiteturas escaláveis de Lakehouse usando Databricks e Delta Lake
- Analisar cargas de trabalho ETL / ELT existentes e definir abordagens de migração
- Desenvolver e otimizar pipelines de dados processando grandes volumes de dados de varejo e analíticos
- Implementar estratégias de processamento incremental e frameworks de transformação escaláveis
- Construir e manter soluções de processamento de dados baseadas em Spark usando PySpark
- Projetar e manter camadas de arquitetura medallion, incluindo Bronze, Silver e Gold
- Implementar melhores práticas de governança e segurança de dados usando Unity Catalog
- Colaborar com equipes de Ciência de Dados, Análise, Produto e Engenharia de Clientes
- Participar de discussões de arquitetura e design de soluções técnicas
- Desenvolver componentes reutilizáveis da plataforma de dados e padrões de engenharia
- Realizar revisões de código e contribuir para a confiabilidade e manutenibilidade da plataforma
- Solucionar problemas e otimizar cargas de trabalho complexas de SQL e Spark
- Apoiar implantações em produção e atividades de modernização da plataforma
Qualificações
- 5+ anos de experiência profissional como Engenheiro de Dados
- Fortes habilidades de programação em Python e SQL avançado
- Experiência comercial prática com Databricks
- Forte conhecimento de Apache Spark, principalmente PySpark
- Experiência em projetar e construir plataformas de dados modernas baseadas na nuvem
- Experiência no desenvolvimento de pipelines ETL / ELT e soluções de processamento de dados em larga escala
- Experiência prática com Delta Lake
- Experiência com Pipelines Declarativos de Spark
- Experiência com monitoramento de cluster, análise de métricas e otimização de performance
- Forte compreensão de arquiteturas de processamento de dados distribuídos
- Sólida compreensão de conceitos de data warehousing e modelagem dimensional
- Experiência com Airflow ou ferramentas de orquestração similares
- Experiência em otimização de cargas de trabalho analíticas complexas de SQL
- Experiência na implementação de práticas de CI / CD para plataformas de engenharia de dados
- Fortes habilidades de solução de problemas e otimização de performance
- Capacidade de trabalhar colaborativamente em equipes internacionais multifuncionais
- Nível de inglês Intermediário-Avançado ou superior
SERÁ UM DIFERENCIAL
- Experiência trabalhando com serviços de nuvem GCP
- Experiência com plataformas de nuvem AWS ou Azure
- Experiência em análise de varejo ou domínios de otimização de preços
- Experiência no suporte a cargas de trabalho de machine learning ou relacionadas a IA
- Experiência com modernização de plataforma e iniciativas de migração para nuvem
Informações Adicionais
PERFIL PESSOAL
- Forte mentalidade analítica e de resolução de problemas
- Abordagem proativa e orientada à responsabilidade
- Capacidade de trabalhar de forma independente e colaborativa
- Boas habilidades de comunicação e colaboração com stakeholders
- Paixão por engenharia de dados escalável e plataformas de dados modernas
- Interesse em aprendizado contínuo e inovação tecnológica
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil
