Banco Mercantil del Norte, S.A.
Lingaro
Engenheiro(a) de Dados - Azure
Tradução automática. Consulte o original.
Tarefas
- Construção de pipelines de dados para ingestão de dados de diversas fontes, como bancos de dados, APIs ou plataformas de streaming.
- Integração e transformação de dados para garantir sua compatibilidade com o modelo ou formato de dados de destino.
- Projeto e otimização de arquiteturas de armazenamento de dados, incluindo data lakes, data warehouses ou sistemas de arquivos distribuídos.
- Implementação de técnicas como particionamento, compressão ou indexação para otimizar o armazenamento e a recuperação de dados.
- Identificação e resolução de gargalos, ajuste de consultas e implementação de estratégias de cache para aprimorar a velocidade de recuperação de dados e a eficiência geral do sistema.
- Projeto e implementação de modelos de dados que suportem armazenamento, recuperação e análise de dados eficientes.
- Colaboração com cientistas de dados e analistas para entender seus requisitos e fornecer dados bem estruturados e otimizados para fins de análise e modelagem.
- Colaboração com equipes multifuncionais, incluindo cientistas de dados, analistas e stakeholders de negócios, para entender seus requisitos e fornecer soluções técnicas.
- Comunicação de conceitos técnicos complexos para stakeholders não técnicos de forma clara e concisa.
- Independência e responsabilidade na entrega de uma solução.
- Capacidade de trabalhar sob metodologias de desenvolvimento Ágil e Scrum.
- Treinar e orientar engenheiros de dados juniores, fornecendo orientação e transferência de conhecimento.
- Projeto e implementação de sistemas de processamento de dados na plataforma Azure. Isso envolve escrever código eficiente e escalável para processar, transformar e limpar grandes volumes de dados estruturados e não estruturados.
- Construção de pipelines de dados para ingestão de dados de diversas fontes, como bancos de dados, APIs ou plataformas de streaming.
- Integração e transformação de dados para garantir sua compatibilidade com o modelo ou formato de dados de destino.
- Identificação e resolução de gargalos, ajuste de consultas e implementação de estratégias de cache para aprimorar a velocidade de recuperação de dados e a eficiência geral do sistema.
- Colaboração com equipes multifuncionais, incluindo cientistas de dados, analistas e stakeholders de negócios, para entender seus requisitos e fornecer soluções técnicas.
O que buscamos
- Databricks 4/5.
- Apache Spark 4/5.
- Programação – Dados 4/5.
- Desenvolvimento de Software para DE – 4/5.
- Serviços Azure – 3/5.
- Liderança Técnica – 3/5.
- Arquitetura – Processamento de Dados – 3/5.
- GenAI para Engenharia de Dados – 3/5.
- Automação CI/CD 3/5.
Outros
- 4-6 anos de experiência profissional em função similar.
- Nível muito bom de comunicação, incluindo a capacidade de transmitir informações de forma clara e específica para colegas e stakeholders de negócios.
- Experiência prática nas metodologias ágeis – ferramentas de suporte (JIRA, Azure DevOps).
- Independência e responsabilidade na entrega de soluções.
- Capacidade de trabalhar sob metodologias ágeis.
- Experiência prática em projeto e otimização de armazenamento de dados (data lakes, data warehouses, sistemas de arquivos distribuídos).
- Experiência ou familiaridade com outras tecnologias de nuvem, data warehouses, governança de dados e análise de negócios é um diferencial.
\n \n $1 - $2 por mês \n
