01Construção de pipelines de dados para ingestão de dados de diversas fontes, como bancos de dados, APIs ou plataformas de streaming.
02Integração e transformação de dados para garantir sua compatibilidade com o modelo ou formato de dados de destino.
03Projeto e otimização de arquiteturas de armazenamento de dados, incluindo data lakes, data warehouses ou sistemas de arquivos distribuídos.
04Implementação de técnicas como particionamento, compressão ou indexação para otimizar o armazenamento e a recuperação de dados.
05Identificação e resolução de gargalos, ajuste de consultas e implementação de estratégias de cache para aprimorar a velocidade de recuperação de dados e a eficiência geral do sistema.
06Projeto e implementação de modelos de dados que suportem armazenamento, recuperação e análise de dados eficientes.
07Colaboração com cientistas de dados e analistas para entender seus requisitos e fornecer dados bem estruturados e otimizados para fins de análise e modelagem.
08Colaboração com equipes multifuncionais, incluindo cientistas de dados, analistas e stakeholders de negócios, para entender seus requisitos e fornecer soluções técnicas.
09Comunicação de conceitos técnicos complexos para stakeholders não técnicos de forma clara e concisa.
10Independência e responsabilidade na entrega de uma solução.
11Capacidade de trabalhar sob metodologias de desenvolvimento Ágil e Scrum.
12Treinar e orientar engenheiros de dados juniores, fornecendo orientação e transferência de conhecimento.
13Projeto e implementação de sistemas de processamento de dados na plataforma Azure. Isso envolve escrever código eficiente e escalável para processar, transformar e limpar grandes volumes de dados estruturados e não estruturados.
14Construção de pipelines de dados para ingestão de dados de diversas fontes, como bancos de dados, APIs ou plataformas de streaming.
15Integração e transformação de dados para garantir sua compatibilidade com o modelo ou formato de dados de destino.
16Identificação e resolução de gargalos, ajuste de consultas e implementação de estratégias de cache para aprimorar a velocidade de recuperação de dados e a eficiência geral do sistema.
17Colaboração com equipes multifuncionais, incluindo cientistas de dados, analistas e stakeholders de negócios, para entender seus requisitos e fornecer soluções técnicas.
O que buscamos
01Databricks 4/5.
02Apache Spark 4/5.
03Programação – Dados 4/5.
04Desenvolvimento de Software para DE – 4/5.
05Serviços Azure – 3/5.
06Liderança Técnica – 3/5.
07Arquitetura – Processamento de Dados – 3/5.
08GenAI para Engenharia de Dados – 3/5.
09Automação CI/CD 3/5.
Outros
104-6 anos de experiência profissional em função similar.
11Nível muito bom de comunicação, incluindo a capacidade de transmitir informações de forma clara e específica para colegas e stakeholders de negócios.
12Experiência prática nas metodologias ágeis – ferramentas de suporte (JIRA, Azure DevOps).
13Independência e responsabilidade na entrega de soluções.
14Capacidade de trabalhar sob metodologias ágeis.
15Experiência prática em projeto e otimização de armazenamento de dados (data lakes, data warehouses, sistemas de arquivos distribuídos).
01Experiência ou familiaridade com outras tecnologias de nuvem, data warehouses, governança de dados e análise de negócios é um diferencial.