Reino Unido
ACT Lighting Inc
N Consulting Ltd
Engenheiro de Dados - AWS
Reino Unido
Northampton, England, United Kingdom
PythonSQLAWSTerraform
Tradução automática. Consulte o original.
Resumo da Vaga
Engenheiro de Dados AWS (PySpark)
Estamos buscando um Engenheiro de Dados AWS experiente com forte conhecimento em PySpark para projetar, desenvolver e otimizar pipelines de dados escaláveis e plataformas de dados baseadas em nuvem. O candidato ideal terá experiência prática na construção de soluções ETL/ELT em AWS, processamento de grandes conjuntos de dados usando Spark e implementação de melhores práticas de engenharia de dados.
Localização: Northampton - 3 Dias no Escritório (Modelo Híbrido)
Tipo de Contrato: Contrato
Salário: 100 - 350 GBP Por dia
Habilidades Necessárias
Experiência: 5+ Anos
- 5+ anos de experiência em Engenharia de Dados.
- Forte experiência prática com PySpark e Apache Spark.
- Experiência extensiva com Serviços AWS Cloud:
- S3
- Glue
- EMR
- Redshift
- Athena
- Lambda
- IAM
- CloudWatch
- Fortes habilidades de programação em Python.
- Habilidades avançadas em desenvolvimento e otimização de consultas SQL.
- Experiência na construção de pipelines ETL/ELT em larga escala.
- Conhecimento em Data Warehousing e modelagem de dados dimensional.
- Experiência com Git e práticas de CI/CD.
Principais Responsabilidades
- Desenvolver e manter pipelines de dados escaláveis usando PySpark e serviços AWS.
- Construir fluxos de trabalho ETL/ELT robustos para ingestão, transformação e carregamento de dados de múltiplas fontes.
- Projetar e gerenciar data lakes e soluções de data warehouse em AWS.
- Trabalhar com serviços AWS como S3, Glue, EMR, Redshift, Lambda, Athena, IAM e CloudWatch.
- Otimizar jobs Spark para desempenho, escalabilidade e eficiência de custos.
- Implementar processos de qualidade de dados, validação e monitoramento.
- Colaborar com stakeholders de negócios, analistas e arquitetos para entregar soluções de dados.
- Apoiar implantações em produção, solução de problemas e otimização de desempenho.
- Manter documentação técnica e seguir padrões de governança de dados.
Habilidades Desejáveis
- Experiência com Databricks.
- Conhecimento de Apache Airflow ou Step Functions AWS.
- Experiência com Kafka ou processamento de dados em tempo real.
- Exposição a Terraform e Infraestrutura como Código (IaC).
- Experiência com Snowflake ou arquiteturas Lakehouse.
- Certificação AWS é altamente desejável.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil