Canadá
Meridian OneCap Credit Corp.
Index Exchange
Engenheiro(a) Staff, Plataforma de Dados e Infraestrutura
RemotoCanadá
Toronto, Ontario, Canada
SQLDockerKubernetes
Tradução automática. Consulte o original.
Sobre a oportunidade
Na Index Exchange, estamos reinventando como a publicidade digital funciona — em escala. Como uma plataforma global de oferta (SSP) de publicidade, capacitamos os principais proprietários de mídia e profissionais de marketing do mundo a prosperar em um ecossistema programático que prioriza a privacidade.
Somos pioneiros no setor, com mais de 20 anos de experiência acelerando a evolução da tecnologia publicitária. Nossa tecnologia proprietária conta com a confiança de algumas das maiores marcas e proprietários de mídia do mundo e desempenha um papel crucial em manter a internet aberta, acessível e amplamente gratuita.
Processamos mais de 550 bilhões de leilões em tempo real todos os dias (em comparação, o Google processa 8.5 bilhões de pesquisas por dia) com latência ultrabaixa. Nossa plataforma é integrada verticalmente, desde servidores até redes, e roda principalmente em nossa própria infraestrutura física e em nuvem. Essa infraestrutura de ponta a ponta foi projetada para oferecer estabilidade e agilidade, permitindo-nos adaptar rapidamente conforme o mercado evolui.
No centro de tudo isso está nossa cultura focada em engenharia. Nossos engenheiros enfrentam problemas em escala de internet em equipes globais e unidas. Desde mover petabytes de dados e otimizar com IA até tomar decisões de infraestrutura em tempo real, os Indexers têm autonomia e influência para moldar o futuro da publicidade. Agimos rápido, construímos de forma ponderada e nos mantemos fiéis aos nossos valores fundamentais.
Sobre a função
Estamos contratando um(a) Engenheiro(a) de Dados Staff para construir e evoluir a camada de processamento de dados e pipelines que impulsiona relatórios, sistemas de faturamento e fluxos de dados em tempo real na Index Exchange.
Esta função foca no design e operação de pipelines de dados em lote e streaming em larga escala, permitindo uma transformação de dados confiável, escalável e eficiente em toda a plataforma.
Você trabalhará em sistemas que transformam dados de eventos brutos e de alto volume em conjuntos de dados limpos, consultáveis e de nível de produção.
Aqui está o que você fará
Você trabalhará em sistemas de dados de alta escala que:
- Processam bilhões de eventos por dia em pipelines distribuídos
- Impulsionam a plataforma de dados central que suporta consumidores (equipes de relatórios, faturamento, MLO)
- Operam em arquiteturas de lote (Spark) e streaming (Kafka / Flink)
- Exigem um equilíbrio cuidadoso de:
- precisão dos dados
- eficiência de processamento
- trade-offs entre latência e custo
Você resolverá problemas como:
- Projetar pipelines que escalam sem aumentar excessivamente os custos computacionais
- Gerenciar a precisão dos dados em escala (deduplicação, dados atrasados, joins)
- Construir sistemas que suportam ambos:
- preenchimentos históricos (backfills)
- atualizações quase em tempo real
- Evoluir pipelines de processamento centralizado (Hadoop) para padrões mais distribuídos e eficientes
- Pipelines de streaming e DWs de streaming.
Expectativas para o nível Staff
- Definir padrões e modelos de processamento de dados entre as equipes
- Liderar iniciativas de plataforma e pipelines em larga escala
- Influenciar decisões de arquitetura e modelagem de dados
- Impulsionar melhorias em:
- confiabilidade
- eficiência de custos
- escalabilidade
Aqui está o que você fará
Pipelines de Dados (Lote + Streaming)
- Projetar e operar pipelines usando:
- Spark, Flink, etc.
- Kafka / Flink (streaming)
- Transformar dados de eventos brutos em:
- conjuntos de dados limpos (camada silver)
- conjuntos de dados prontos para negócios (tabelas gold / relatórios)
Modelos de Dados Principais e Conjuntos de Dados
- Construir e manter conjuntos de dados canônicos (conjuntos de dados agregados, tabelas de relatórios)
- Definir contratos de dados e garantir consistência entre pipelines
- Suportar casos de uso em evolução:
- relatórios
- faturamento
- ML / experimentação
Orquestração de Fluxo de Trabalho
- Construir e manter DAGs do Airflow para:
- agendamento de pipelines
- gerenciamento de dependências
- preenchimentos (backfills)
- Melhorar a confiabilidade e observabilidade dos fluxos de trabalho
Otimização de Processamento de Dados
- Otimizar pipelines para:
- desempenho (tempo de execução, throughput)
- custo (eficiência computacional)
- escalabilidade (crescimento de dados)
- Melhorar:
- estratégias de particionamento
- layout de dados
- padrões de execução de jobs
Pipelines de Streaming e Quase em Tempo Real
- Construir pipelines que suportam:
- atualizações incrementais
- transformações de streaming
- agregação em escala
- Contribuir para padrões em evolução, como:
- agregação na borda (edge aggregation)
- convergência de streaming → lote
- disponibilidade de dados em tempo real
Responsabilidades de Design de Plataforma e Sistema
- Definir e evoluir padrões de processamento de dados:
- lote vs streaming
- estratégias de agregação
- incremental vs recomputação total
- Trabalhar com:
- Spark (processamento central)
- Kafka (transporte)
- Flink (computação de streaming)
- sistemas de armazenamento (Hadoop / Ceph)
- Kubernetes
- Contribuir para:
- decisões de arquitetura da plataforma de dados
- padronização de pipelines
- frameworks de processamento de dados reutilizáveis
- Influenciar trade-offs:
- latência vs custo
- precisão vs desempenho
- computação vs armazenamento
Você trabalhará em estreita colaboração com:
- Produtos de Dados
- Equipes de ML e experimentação
- Equipes de Infraestrutura e sistemas on-prem
O que buscamos
- Forte experiência em engenharia de dados em escala
- Profundo conhecimento em:
- Frameworks de processamento de dados distribuídos
- SQL e modelagem de dados
- Liderança de projetos de ponta a ponta
- Experiência com:
- Airflow ou orquestração de fluxo de trabalho
- Kafka ou sistemas de streaming
- Gerenciamento de kubernetes
- Forte compreensão de:
- processamento de dados distribuídos
- modelagem de dados (conjuntos de dados em larga escala)
- otimização de desempenho
- Capacidade de:
- ser dono(a) de pipelines de ponta a ponta
- depurar problemas complexos de dados
- trabalhar em ambientes de alta escala e em constante evolução
O que você precisa
- Bacharelado/Mestrado em Ciência da Computação ou áreas relacionadas à Engenharia
- 8+ anos de experiência como Engenheiro(a) de Software no desenvolvimento de produtos de software distribuídos de grande escala e nível empresarial
- 3+ anos de experiência profissional projetando e construindo pipelines de dados e aplicações de alto desempenho usando Hadoop/Ceph, Spark/Flink, Hive, Presto/Trino, Kafka, StarRocks/Vertica, Airflow, Kubernetes ou outras tecnologias similares
- Profunda compreensão dos princípios de design de sistemas distribuídos de grande escala e familiaridade com tecnologias convencionais de big data e frameworks distribuídos
- Fortes habilidades de liderança, mentoria e comunicação, com experiência em colaboração em uma equipe globalmente distribuída e culturalmente diversa
- Conhecimento em modelagem de dados, data warehousing, processamento de dados em streaming e ferramentas de business intelligence
- Experiência trabalhando com metodologias Ágeis com integração e entrega contínuas como CI/CD
- Experiência trabalhando com conteinerização e ferramentas de virtualização como Kubernetes e Docker
Por que você vai adorar trabalhar aqui
- Planos abrangentes de saúde, odontológico e visão para você e seus dependentes
- Folgas remuneradas, dias de saúde e dias para obrigações pessoais, além de horários de trabalho flexíveis
- Planos competitivos de contrapartida para aposentadoria
- Pacotes de participação acionária (equity)
- Licença parental generosa disponível para pais que dão à luz, não gestantes e adotantes
- Subsídio anual de bem-estar, além de descontos em academias e atividades de bem-estar em grupo
- Benefícios e descontos de transporte, onde disponível
- Programa de assistência ao funcionário
- Programa de primeiros socorros em saúde mental que oferece um ponto de contato e tranquilidade no momento da necessidade
- Um dia de folga para voluntariado por ano e um programa de correspondência de doações
- Town halls quinzenais e eventos regulares da equipe liderados pela comunidade
- Múltiplos recursos e programas para apoiar o aprendizado contínuo
- Um local de trabalho que apoia um ambiente diverso, equitativo e inclusivo – saiba mais aqui can01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fwww.indexexchange.com%2Fabout%2Fdiversity-equity-inclusion%2F&data=05%7C01%7C%7Cbd817b7937664bdeb2b008db095e285e%7Cb07c069022b843668d8d7b845d088e18%7C1%7C0%7C638114072223704542%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=I7VfjnjaTtyacfynF7cGU7TSsL32hK3xgUETeVqkB7E%3D&reserved=0
Igualdade de oportunidades de emprego
Na Index Exchange, acreditamos que produtos de sucesso são construídos por equipes tão diversas quanto o público que os utiliza. Como tal, estamos comprometidos com a igualdade de oportunidades de emprego. Celebramos a diversidade de raça, cor, ancestralidade, religião, sexo, origem nacional, orientação sexual, idade, cidadania, estado civil, deficiência, identidade ou expressão de gênero ou status de veterano. Além disso, percebemos que a diversidade é mais profunda do que qualquer status ou classificação — a diversidade é a experiência humana. Para aqueles que demonstram garra, paixão e humildade — a Index dará as boas-vindas.
Acessibilidade para candidatos com deficiência
A Index Exchange recebe e incentiva indivíduos com deficiência a se candidatarem para trabalhar conosco.
Se você precisar de uma acomodação, compartilhe os detalhes do seu pedido e qualquer informação sobre como podemos ajudá-lo com o recrutador de contratação quando eles entrarem em contato. A Index Exchange fará esforços razoáveis para garantir que os pedidos de acomodação sejam atendidos durante todo o processo de recrutamento.
Index em toda parte, Index em qualquer lugar
Nossa sede corporativa fica em Toronto, com grandes escritórios em Nova York, Montreal, Kitchener, Londres, São Francisco e muitas outras cidades globais. Como uma grande bolsa de publicidade global, estamos comprometidos em operar como uma equipe global unida e em abraçar e capacitar talentos onde quer que nossos colegas estejam.
Isenção de responsabilidade de IA: Ferramentas automatizadas, incluindo inteligência artificial, podem ser usadas para ajudar na triagem e avaliação de candidatos para esta função. Todas as decisões de contratação envolvem revisão humana.
Status da vaga: Esta publicação é para uma vaga existente.
#LI-ONSIGHT
#LI-HF1
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil