Engenheiro Principal - Databricks Data Engineer

México

Guadalajara, Sonora, Mexico

Tradução automática. Consulte o original.

Descrição da Empresa

Somos uma empresa de Engenharia de Produtos Digitais que está crescendo significativamente! Criamos produtos, serviços e experiências que inspiram, entusiasmam e encantam. Trabalhamos em escala — em todos os dispositivos e meios digitais, e nossos colaboradores estão presentes em todo o mundo (mais de 15000 especialistas em 26 países, para ser exato). Nossa cultura de trabalho é dinâmica e não hierárquica. Estamos em busca de novos colegas incríveis. É aí que você entra!

Descrição da Vaga

Descrição da Vaga:

Auditar o estado atual do workspace do Databricks, incluindo ambientes, clusters, configuração do Unity Catalog, controles de acesso e configuração de custos.

Implementar e fortalecer o Unity Catalog, incluindo estrutura de namespace, controles de acesso, políticas de cluster e separação de ambientes.

Definir padrões de workspace, convenções de nomenclatura, fluxos de trabalho de solicitação de acesso e processos de integração de usuários/equipes.

Estabelecer frameworks de qualidade de dados, incluindo SLAs, critérios de certificação e modelos de propriedade de dados.

Criar modelos de automação para operações rotineiras de workspace, como gerenciamento do ciclo de vida de clusters, alertas de custo e monitoramento de utilização.

Configurar dashboards de observabilidade cobrindo a saúde da plataforma, custos, taxas de sucesso de jobs e KPIs de SLA de qualidade de dados, além de monitorar a linhagem de ativos de dados principais entre os workspaces.

Criar runbooks para tarefas operacionais recorrentes que possam ser executadas por um engenheiro de nível pleno/júnior sem suporte contínuo do recurso sênior.

Conduzir sessões de transferência de conhecimento com a equipe de engenharia de plataforma.

Fornecer documentação final cobrindo decisões de arquitetura, padrões operacionais, pendências e recomendações para o perfil de contratação permanente.

Principais Responsabilidades.

Avaliar e otimizar ambientes Databricks, incluindo workspaces, clusters, catálogos, permissões e configurações de segurança.

Definir e implementar padrões de governança para garantir operações de plataforma seguras, escaláveis e em conformidade.

Liderar a adoção do Unity Catalog, projetando estruturas de dados, modelos de acesso e estratégias de segregação de ambientes.

Estabelecer políticas de RBAC, padrões de workspace, convenções de nomenclatura e processos de acesso de usuários.

Impulsionar iniciativas de governança de dados, incluindo frameworks de qualidade de dados, modelos de propriedade, SLAs, linhagem e práticas de gestão de dados.

Desenvolver soluções de automação e frameworks de Infraestrutura como Código (IaC) para otimizar a administração da plataforma e reduzir o esforço manual.

Implementar otimização de custos, monitoramento e práticas de excelência operacional em ambientes Databricks.

Projetar dashboards de observabilidade e desempenho para rastrear a saúde da plataforma, utilização, taxas de sucesso de jobs e KPIs de qualidade de dados.

Criar documentação operacional, runbooks e procedimentos de suporte para melhorar a confiabilidade da plataforma e a prontidão da equipe.

Colaborar com as equipes de segurança, conformidade, infraestrutura e engenharia de dados para alinhar as capacidades da plataforma às necessidades do negócio.

Fornecer treinamento, mentoria e sessões de transferência de conhecimento para capacitar administradores de plataforma e equipes de engenharia.

Recomendar melhorias na plataforma e estratégias de longo prazo para aprimorar a governança, escalabilidade e maturidade organizacional.

Qualificações

Habilidades obrigatórias: Azure Data Factory, Databricks, Unity Catalog

Habilidades desejáveis: Implementação de plataforma de dados, Administração de Google Workspace

Região de Atendimento: UCC

Idiomas

Engenheiro Principal - Databricks Data Engineer

Descrição da Empresa

Descrição da Vaga

Principais Responsabilidades.

Qualificações

Seu próximo empregojá está te procurando.

Mais oportunidades com um só perfil

Continue explorando

Engenheiro de Implementação (Forward Deployed Engineer), Mid-Market - Cidade do México 🇲🇽

Engenheiro de Implementação (Forward Deployed Engineer), Enterprise - Cidade do México 🇲🇽

Engenheiro de Suporte Tecnológico