Index Exchange

Engenheiro(a) Staff, Plataforma de Dados e Infraestrutura

SQLDockerKubernetes
Tradução automática. Consulte o original.

Sobre a oportunidade

Na Index Exchange, estamos reinventando como a publicidade digital funciona — em escala. Como uma plataforma global de oferta (SSP) de publicidade, capacitamos os principais proprietários de mídia e profissionais de marketing do mundo a prosperar em um ecossistema programático que prioriza a privacidade.

Somos pioneiros no setor, com mais de 20 anos de experiência acelerando a evolução da tecnologia publicitária. Nossa tecnologia proprietária conta com a confiança de algumas das maiores marcas e proprietários de mídia do mundo e desempenha um papel crucial em manter a internet aberta, acessível e amplamente gratuita.

Processamos mais de 550 bilhões de leilões em tempo real todos os dias (em comparação, o Google processa 8.5 bilhões de pesquisas por dia) com latência ultrabaixa. Nossa plataforma é integrada verticalmente, desde servidores até redes, e roda principalmente em nossa própria infraestrutura física e em nuvem. Essa infraestrutura de ponta a ponta foi projetada para oferecer estabilidade e agilidade, permitindo-nos adaptar rapidamente conforme o mercado evolui.

No centro de tudo isso está nossa cultura focada em engenharia. Nossos engenheiros enfrentam problemas em escala de internet em equipes globais e unidas. Desde mover petabytes de dados e otimizar com IA até tomar decisões de infraestrutura em tempo real, os Indexers têm autonomia e influência para moldar o futuro da publicidade. Agimos rápido, construímos de forma ponderada e nos mantemos fiéis aos nossos valores fundamentais.

Sobre a função

Estamos contratando um(a) Engenheiro(a) de Dados Staff para construir e evoluir a camada de processamento de dados e pipelines que impulsiona relatórios, sistemas de faturamento e fluxos de dados em tempo real na Index Exchange.

Esta função foca no design e operação de pipelines de dados em lote e streaming em larga escala, permitindo uma transformação de dados confiável, escalável e eficiente em toda a plataforma.

Você trabalhará em sistemas que transformam dados de eventos brutos e de alto volume em conjuntos de dados limpos, consultáveis e de nível de produção.

Aqui está o que você fará

Você trabalhará em sistemas de dados de alta escala que:

  1. Processam bilhões de eventos por dia em pipelines distribuídos
  1. Impulsionam a plataforma de dados central que suporta consumidores (equipes de relatórios, faturamento, MLO)
  1. Operam em arquiteturas de lote (Spark) e streaming (Kafka / Flink)
  1. Exigem um equilíbrio cuidadoso de:
  1. precisão dos dados
  1. eficiência de processamento
  1. trade-offs entre latência e custo

Você resolverá problemas como:

  1. Projetar pipelines que escalam sem aumentar excessivamente os custos computacionais
  1. Gerenciar a precisão dos dados em escala (deduplicação, dados atrasados, joins)
  1. Construir sistemas que suportam ambos:
  1. preenchimentos históricos (backfills)
  1. atualizações quase em tempo real
  1. Evoluir pipelines de processamento centralizado (Hadoop) para padrões mais distribuídos e eficientes
  1. Pipelines de streaming e DWs de streaming.

Expectativas para o nível Staff

  1. Definir padrões e modelos de processamento de dados entre as equipes
  1. Liderar iniciativas de plataforma e pipelines em larga escala
  1. Influenciar decisões de arquitetura e modelagem de dados
  1. Impulsionar melhorias em:
  1. confiabilidade
  1. eficiência de custos
  1. escalabilidade

Aqui está o que você fará

Pipelines de Dados (Lote + Streaming)

  1. Projetar e operar pipelines usando:
  1. Spark, Flink, etc.
  1. Kafka / Flink (streaming)
  1. Transformar dados de eventos brutos em:
  1. conjuntos de dados limpos (camada silver)
  1. conjuntos de dados prontos para negócios (tabelas gold / relatórios)

Modelos de Dados Principais e Conjuntos de Dados

  1. Construir e manter conjuntos de dados canônicos (conjuntos de dados agregados, tabelas de relatórios)
  1. Definir contratos de dados e garantir consistência entre pipelines
  1. Suportar casos de uso em evolução:
  1. relatórios
  1. faturamento
  1. ML / experimentação

Orquestração de Fluxo de Trabalho

  1. Construir e manter DAGs do Airflow para:
  1. agendamento de pipelines
  1. gerenciamento de dependências
  1. preenchimentos (backfills)
  1. Melhorar a confiabilidade e observabilidade dos fluxos de trabalho

Otimização de Processamento de Dados

  1. Otimizar pipelines para:
  1. desempenho (tempo de execução, throughput)
  1. custo (eficiência computacional)
  1. escalabilidade (crescimento de dados)
  1. Melhorar:
  1. estratégias de particionamento
  1. layout de dados
  1. padrões de execução de jobs

Pipelines de Streaming e Quase em Tempo Real

  1. Construir pipelines que suportam:
  1. atualizações incrementais
  1. transformações de streaming
  1. agregação em escala
  1. Contribuir para padrões em evolução, como:
  1. agregação na borda (edge aggregation)
  1. convergência de streaming → lote
  1. disponibilidade de dados em tempo real

Responsabilidades de Design de Plataforma e Sistema

  1. Definir e evoluir padrões de processamento de dados:
  1. lote vs streaming
  1. estratégias de agregação
  1. incremental vs recomputação total
  1. Trabalhar com:
  1. Spark (processamento central)
  1. Kafka (transporte)
  1. Flink (computação de streaming)
  1. sistemas de armazenamento (Hadoop / Ceph)
  1. Kubernetes
  1. Contribuir para:
  1. decisões de arquitetura da plataforma de dados
  1. padronização de pipelines
  1. frameworks de processamento de dados reutilizáveis
  1. Influenciar trade-offs:
  1. latência vs custo
  1. precisão vs desempenho
  1. computação vs armazenamento

Você trabalhará em estreita colaboração com:

  1. Produtos de Dados
  1. Equipes de ML e experimentação
  1. Equipes de Infraestrutura e sistemas on-prem

O que buscamos

  1. Forte experiência em engenharia de dados em escala
  1. Profundo conhecimento em:
  1. Frameworks de processamento de dados distribuídos
  1. SQL e modelagem de dados
  1. Liderança de projetos de ponta a ponta
  1. Experiência com:
  1. Airflow ou orquestração de fluxo de trabalho
  1. Kafka ou sistemas de streaming
  1. Gerenciamento de kubernetes
  1. Forte compreensão de:
  1. processamento de dados distribuídos
  1. modelagem de dados (conjuntos de dados em larga escala)
  1. otimização de desempenho
  1. Capacidade de:
  1. ser dono(a) de pipelines de ponta a ponta
  1. depurar problemas complexos de dados
  1. trabalhar em ambientes de alta escala e em constante evolução

O que você precisa

  1. Bacharelado/Mestrado em Ciência da Computação ou áreas relacionadas à Engenharia
  1. 8+ anos de experiência como Engenheiro(a) de Software no desenvolvimento de produtos de software distribuídos de grande escala e nível empresarial
  1. 3+ anos de experiência profissional projetando e construindo pipelines de dados e aplicações de alto desempenho usando Hadoop/Ceph, Spark/Flink, Hive, Presto/Trino, Kafka, StarRocks/Vertica, Airflow, Kubernetes ou outras tecnologias similares
  1. Profunda compreensão dos princípios de design de sistemas distribuídos de grande escala e familiaridade com tecnologias convencionais de big data e frameworks distribuídos
  1. Fortes habilidades de liderança, mentoria e comunicação, com experiência em colaboração em uma equipe globalmente distribuída e culturalmente diversa
  1. Conhecimento em modelagem de dados, data warehousing, processamento de dados em streaming e ferramentas de business intelligence
  1. Experiência trabalhando com metodologias Ágeis com integração e entrega contínuas como CI/CD
  1. Experiência trabalhando com conteinerização e ferramentas de virtualização como Kubernetes e Docker

Por que você vai adorar trabalhar aqui

  • Planos abrangentes de saúde, odontológico e visão para você e seus dependentes
  • Folgas remuneradas, dias de saúde e dias para obrigações pessoais, além de horários de trabalho flexíveis
  • Planos competitivos de contrapartida para aposentadoria
  • Pacotes de participação acionária (equity)
  • Licença parental generosa disponível para pais que dão à luz, não gestantes e adotantes
  • Subsídio anual de bem-estar, além de descontos em academias e atividades de bem-estar em grupo
  • Benefícios e descontos de transporte, onde disponível
  • Programa de assistência ao funcionário
  • Programa de primeiros socorros em saúde mental que oferece um ponto de contato e tranquilidade no momento da necessidade
  • Um dia de folga para voluntariado por ano e um programa de correspondência de doações
  • Town halls quinzenais e eventos regulares da equipe liderados pela comunidade
  • Múltiplos recursos e programas para apoiar o aprendizado contínuo

Igualdade de oportunidades de emprego

Na Index Exchange, acreditamos que produtos de sucesso são construídos por equipes tão diversas quanto o público que os utiliza. Como tal, estamos comprometidos com a igualdade de oportunidades de emprego. Celebramos a diversidade de raça, cor, ancestralidade, religião, sexo, origem nacional, orientação sexual, idade, cidadania, estado civil, deficiência, identidade ou expressão de gênero ou status de veterano. Além disso, percebemos que a diversidade é mais profunda do que qualquer status ou classificação — a diversidade é a experiência humana. Para aqueles que demonstram garra, paixão e humildade — a Index dará as boas-vindas.

Acessibilidade para candidatos com deficiência

A Index Exchange recebe e incentiva indivíduos com deficiência a se candidatarem para trabalhar conosco.

Se você precisar de uma acomodação, compartilhe os detalhes do seu pedido e qualquer informação sobre como podemos ajudá-lo com o recrutador de contratação quando eles entrarem em contato. A Index Exchange fará esforços razoáveis para garantir que os pedidos de acomodação sejam atendidos durante todo o processo de recrutamento.

Index em toda parte, Index em qualquer lugar

Nossa sede corporativa fica em Toronto, com grandes escritórios em Nova York, Montreal, Kitchener, Londres, São Francisco e muitas outras cidades globais. Como uma grande bolsa de publicidade global, estamos comprometidos em operar como uma equipe global unida e em abraçar e capacitar talentos onde quer que nossos colegas estejam.

Isenção de responsabilidade de IA: Ferramentas automatizadas, incluindo inteligência artificial, podem ser usadas para ajudar na triagem e avaliação de candidatos para esta função. Todas as decisões de contratação envolvem revisão humana.

Status da vaga: Esta publicação é para uma vaga existente.

#LI-ONSIGHT

#LI-HF1

Mais oportunidades com um só perfil

Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.

Criar meu perfil

Seu próximo empregojá está te procurando.

Nort

Plataforma de recrutamento reverso para programadores