Brasil
Verisure
CI&T
[Vaga - 30813] Desenvolvedor(a) de Dados Sênior (Databricks), Brasil
Brasil
Brazil
SQLGo
Tradução automática. Consulte o original.
Sobre a oportunidade
Na CI&T, ajudamos grandes empresas a transformar o potencial da IA em impacto real nos negócios com implantação de IA, execução nativa de IA e soluções de negócios integradas à tecnologia.
Com 30 anos de experiência em transformação tecnológica, aceleramos a inovação com expertise em Agentic SDLC, modernização de aplicações, Dados & IA, Martech e estratégia de negócios.
Somos 8,000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. A IA já faz parte de como trabalhamos, evoluímos e inovamos todos os dias.
Estamos buscando um(a) Desenvolvedor(a) de Dados Sênior (Databricks) para se juntar à nossa equipe e assumir a responsabilidade por uma plataforma de dados de missão crítica que suporta relatórios e análises de negócios para nosso cliente. Esta é uma oportunidade de trabalhar profundamente no ecossistema Databricks — desde a ingestão bruta até uma camada dimensional totalmente modelada — atuando como a espinha dorsal técnica na qual o restante da equipe confia para expertise na plataforma.
Esta função combina execução prática com liderança técnica: você será o(a) proprietário(a) e evoluirá notebooks em toda a arquitetura medallion, projetará e estenderá artefatos de modelagem dimensional que impulsionam a inteligência de negócios downstream, e servirá como o principal revisor(a) e ponto de referência técnico(a) para a equipe. Você operará tanto estrategicamente — propondo melhorias arquitetônicas e de processo — quanto operacionalmente — solucionando problemas de jobs de produção, implantando em ambientes e mantendo a documentação atualizada. O sucesso nesta função requer a capacidade de se adaptar rapidamente a uma base de código grande, estabelecida e com muitas regras de negócio, e começar a contribuir significativamente em um curto período.
Responsabilidades
- Entrega e Melhoria Contínua: Trabalhar em tickets e bugs atribuídos, enquanto busca continuamente oportunidades de melhoria além da tarefa imediata — identificando proativamente dívidas técnicas, oportunidades de refatoração e lacunas de automação, em vez de limitar as contribuições ao que foi atribuído.
- Propriedade de Pipeline de Dados: Ser proprietário(a) e evoluir notebooks nas camadas Stage, Bronze, Silver e Gold, desde a ingestão até o modelo dimensional consumido por ferramentas de relatórios de business intelligence.
- Modelagem Dimensional: Projetar e implementar artefatos de modelagem dimensional — fatos, dimensões e dimensões de mudança lenta — com um entendimento claro de como eles habilitam relatórios downstream.
- Gerenciamento de Fluxo de Trabalho: Fazer alterações em jobs e fluxos de trabalho de processamento de dados conforme necessário para suportar requisitos de negócios em evolução.
- Revisão de Código e Qualidade: Revisar pull requests de outros desenvolvedores, aplicando qualidade de código, desempenho e consistência arquitetônica em toda a base de código.
- Gerenciamento de Ambiente e Implantação: Implantar e promover alterações entre ambientes (Dev, QA, UAT, PROD), mantendo o rastreamento de implantação atualizado, e suportar operações de ambiente, como restaurar ambientes ou tabelas de outro ambiente ou de um ponto específico no tempo.
- Monitoramento e Solução de Problemas de Produção: Monitorar e solucionar problemas de jobs de produção diários, investigando falhas e problemas de desempenho usando ferramentas de diagnóstico nativas da plataforma, logs de jobs e histórico de tabelas.
- Testes e Automação: Manter e melhorar o pipeline de testes automatizados, incluindo fluxos de trabalho CI/CD e o framework de testes subjacente.
- Documentação: Manter a documentação técnica atualizada para que o conhecimento institucional não se perca à medida que os pipelines e conexões dos quais a equipe depende evoluem.
- Referência Técnica e Mentoria: Atuar como o ponto de referência técnico para a equipe na plataforma de dados — a pessoa a quem os outros recorrem quando algo precisa de expertise profunda na plataforma — e apoiar outros membros da equipe em tópicos de modelagem e desenvolvimento de dados.
- Colaboração com Stakeholders: Propor e recomendar melhorias arquitetônicas e de processo, colaborando com stakeholders técnicos e de negócios do cliente — incluindo a função de arquitetura de dados do cliente — para traduzir requisitos em pipelines de dados escaláveis e bem testados, mantendo-se igualmente confortável em receber direcionamento da liderança técnica do lado do cliente.
Requisitos
- Experiência sólida em desenvolvimento de dados, com experiência prática comprovada em produção na plataforma Databricks.
- Forte proficiência em PySpark (DataFrame API, Spark SQL, UDFs, window functions) e Databricks SQL (ANSI SQL, MERGE INTO, COPY INTO, CTEs), incluindo ajuste de desempenho como partition pruning, file compaction, skew handling e otimização de consultas.
- Experiência sólida e prática com Delta Lake: padrões MERGE/upsert, transações ACID, time travel e manutenção de tabelas (OPTIMIZE, VACUUM, ZORDER, liquid clustering, Change Data Feed).
- Experiência demonstrada na implementação de Dimensões de Mudança Lenta (Tipo 1 e Tipo 2) e conceitos de modelagem dimensional (star schema, design de fatos/dimensões) — não exigindo que você tenha projetado um modelo do zero, mas exigindo a mentalidade para entender e estender um.
- Experiência com arquitetura medallion (ou arquitetura em camadas comparável) em uma plataforma de dados de produção, e com Unity Catalog, jobs/workflows, gerenciamento de segredos e desenvolvimento baseado em notebooks.
- Experiência com Git e Azure DevOps (ou equivalente) para controle de versão, pull requests e pipelines CI/CD, juntamente com serviços Microsoft Azure (Key Vault, Service Principal/Managed Identity, Data Lake Storage).
- Capacidade de ler e navegar em uma base de código grande e estabelecida (400+ notebooks), aprendendo e seguindo convenções existentes em vez de reescrevê-las, e de se adaptar rapidamente em um ambiente com muitas regras de negócio.
- Habilidades avançadas de comunicação em inglês (nível C1 ou superior), com a capacidade de trabalhar diretamente com stakeholders do cliente baseados nos EUA, propor recomendações técnicas e alinhar-se com as decisões da liderança técnica do lado do cliente.
Diferenciais
- Experiência com Asset Bundles Databricks ou outras abordagens de Infraestrutura como Código para gerenciar jobs, clusters e permissões como código.
- Familiaridade com Delta Live Tables e com Databricks Genie (AI/BI Genie) para consultas em linguagem natural e análise conversacional.
- Familiaridade com frameworks de qualidade de dados (por exemplo, Great Expectations, Soda Core ou frameworks de validação personalizados).
- Experiência com pytest e databricks-connect para testes automatizados de pipelines Spark fora da execução manual de notebooks.
- Familiaridade com Pydantic ou abordagens de configuração tipada semelhantes, e experiência com abordagens de migração/versionamento de schema (por exemplo, Flyway, Liquibase ou frameworks personalizados).
- Conforto em usar ferramentas de desenvolvimento assistidas por IA (por exemplo, GitHub Copilot, Cursor ou similares) para acelerar fluxos de trabalho de codificação, depuração e revisão de código.
#LI-JP3
Na CI&T, a inclusão começa no primeiro contato. Se você é uma pessoa com deficiência, é importante apresentar seu laudo durante o processo seletivo. Veja quais dados precisam constar no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Caso ainda não tenha o laudo, não se preocupe: podemos te apoiar na obtenção dele.
Contamos com um time dedicado de Saúde e Bem-Estar, especialistas em inclusão e grupos de afinidade que estarão com você em cada etapa. Conte conosco para fazer essa jornada lado a lado.
Nossos benefícios
- Plano de saúde e odontológico
- Vale refeição e alimentação
- Auxílio creche
- Licença paternidade estendida
- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;
- Participação nos Lucros e Resultados (PLR);
- Seguro de vida
- Plataforma de aprendizado contínuo (CI&T University);
- Clube de descontos
- Plataforma online gratuita dedicada ao bem-estar físico, mental e geral
- Curso de gestação e parentalidade responsável
- Parcerias com plataformas de aprendizado online
- Plataforma de aprendizado de idiomas
E muito mais!
Mais detalhes sobre nossos benefícios aqui: ciandt.com/br/pt-br/carreiras
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil