Estados Unidos
Redwood Materials
Netflix
Engenheiro de Machine Learning 5 - Tomada de Decisão e Otimização
Estados Unidos
Los Angeles, California, United States · Los Gatos, California, United States · New York, New York, United States · Seattle, Washington, United States
PythonJava
Tradução automática. Consulte o original.
Sobre a oportunidade
Na Netflix, nossa missão é entreter o mundo. Juntos, estamos escrevendo o próximo episódio - expandindo os limites da narrativa, do fandom global e tornando o inimaginável uma realidade. Somos uma equipe dos sonhos obcecada pela emoção desconfortável de descobrir o que acontece quando você une criatividade, intuição e tecnologia de ponta. Venha fazer parte do que vem a seguir.
Lançamos um novo plano com anúncios em novembro de 2022 e estamos construindo um ecossistema de tecnologia de anúncios de classe mundial interno para oferecer aos nossos membros mais opções no consumo de seu conteúdo. Nosso novo plano nos permite atrair novos membros a um preço mais baixo, ao mesmo tempo em que criamos um caminho atraente para os anunciantes alcançarem públicos profundamente engajados.
Nossa Equipe
A equipe de engenharia de Tomada de Decisão e Otimização é responsável pelos sistemas que determinam qual anúncio vence cada impressão, a que preço, e como os orçamentos das campanhas são entregues em todas as superfícies de inventário. Nosso trabalho abrange três áreas de plataforma:
- Infraestrutura de ML para servir modelos: inferência em tempo real em 1M+ QPS, avaliação paralela de múltiplos modelos, hidratação de features, ciclo de vida do modelo desde a implantação em canário até o monitoramento em produção
- Leilão, ranqueamento e pontuação: seleção de candidatos em múltiplos estágios, pontuação, avaliação de lances, precificação dinâmica e agrupamento
- Orçamento, pacing e lances: sistemas de controle para otimização de entrega, planejamento de orçamento e computação de lances
Estamos escalando de um punhado de modelos de produção para mais de 10 modelos, mantendo orçamentos de inferência sub-20ms de P99. Estamos procurando um engenheiro de ML que possa construir e operar a infraestrutura de serviço na qual esses modelos rodam, e que entenda o contexto de tomada de decisão de anúncios o suficiente para fazer as escolhas de engenharia corretas.
A Netflix possui uma cultura e um ambiente únicos. Saiba mais aqui.
O que você fará
- Construir e operar infraestrutura de serviço de modelos de ML de ponta a ponta para tomada de decisão de anúncios em tempo real: publicação de modelos, empacotamento, validação, implantação na pilha de serviço com troca a quente sem tempo de inatividade
- Escalar o caminho de inferência para suportar dezenas de modelos concorrentes em cada solicitação de anúncio em 1M+ QPS com orçamentos de latência rigorosos, incluindo estratégias de batching, alocação de CPU/GPU, versionamento de modelos e níveis de fallback
- Projetar e otimizar o caminho de serviço de features: hidratação de features do Chronon, Signal Service e streams em tempo real com latência de busca sub-10ms de P99 e consistência online/offline
- Produzir modelos de pontuação e ranqueamento para seleção de anúncios em múltiplos estágios (recuperação, ranqueamento inicial, pontuação completa) e integrar os resultados dos modelos ao leilão
- Construir monitoramento de desempenho de modelos em produção: latência de inferência, desvios na distribuição de predições, detecção de drift de features, calibração de pontuação e detecção de regressão antes do impacto na receita
- Colaborar estreitamente com as equipes de Ciência de Dados e Plataforma
- Construir infraestrutura de simulação para reproduzir tráfego de produção contra modelos candidatos offline, permitindo a validação de mudanças no marketplace antes do lançamento ao vivo
- Impulsionar a excelência operacional para sistemas de ML: confiabilidade, observabilidade, planejamento de capacidade, resposta a incidentes e escalonamento para eventos ao vivo com mais de 35M de espectadores simultâneos
Habilidades e Experiência que Buscamos
- 7+ anos de experiência em engenharia de software; 3+ anos focados em infraestrutura de ML, serviço de modelos ou trabalho em plataforma de ML em um contexto de anúncios ou tomada de decisão em tempo real
- Construiu e operou sistemas de serviço de modelos em tempo real em alta QPS com latência sub-20ms: inferência online, stores de features, registros de modelos, troca a quente de modelos, rollout em canário e shadow
- Proficiência em Java, Python ou Scala com um sólido entendimento de multithreading, gerenciamento de memória e otimização de desempenho para caminhos de latência crítica
- Experiência prática com frameworks de serviço de ML: serialização, otimização de runtime e restrições de implantação
- Experiência com pipelines de engenharia de features para sistemas em tempo real: consistência online/offline, estratégias de hidratação, caching e trade-offs de frescor
- Forte entendimento de monitoramento de modelos em produção: detecção de drift, análise de distribuição de predições, calibração e profiling de latência
- Confortável trabalhando na fronteira entre pesquisa de ML e engenharia de produção: capaz de pegar um artefato de modelo e transformá-lo em um serviço pronto para produção que atende aos SLAs
- Capacidade demonstrada de operar em um ambiente que exige tanto a escala de grandes empresas de tecnologia quanto a velocidade de startups
Diferenciais
- Experiência no domínio de anúncios: modelos de ranqueamento, pontuação de lances, precificação de reserva, otimização de receita, alocação dinâmica entre inventário garantido e não garantido
- Experiência com mecânicas de leilão: ranqueamento em múltiplos estágios, bid shading, previsão de lances, dinâmicas de competição de mercado
- Construiu ou aprimorou sistemas de controle de pacing e entrega de orçamento
- Construiu plataformas de simulação ou teste contrafactual para sistemas de marketplace ou leilão
- Experiência com infraestrutura de testes A/B para rollouts de modelos: experimentos online, grupos de controle, avaliação consciente de interferência em ambientes de marketplace
- Familiaridade com restrições de CTV: inserção de anúncios no lado do servidor, serviço de anúncios em eventos ao vivo em escala, padrões de tráfego de pico
- Ecossistema JVM
Geralmente, nossa estrutura de remuneração consiste unicamente em um salário anual; não temos bônus. Você escolhe a cada ano quanto de sua remuneração deseja em salário versus opções de ações. Para determinar sua remuneração pessoal no topo do mercado, baseamo-nos em indicadores de mercado e consideramos sua área de atuação específica, histórico, habilidades e experiência para determinar sua remuneração na faixa de mercado.
A faixa para esta função é $466,000.00 - $750,000.00.
A Netflix oferece benefícios abrangentes, incluindo Planos de Saúde, suporte à Saúde Mental, um Plano de Aposentadoria 401(k) com contrapartida do empregador, Programa de Opções de Ações, Programas de Incapacidade, Contas de Poupança para Saúde e Despesas Flexíveis, benefícios de Formação Familiar e Benefícios de Vida e Lesões Graves. Também oferecemos programas de licença remunerada. Funcionários horistas em tempo integral acumulam 35 dias anualmente para tempo livre remunerado a ser utilizado para férias, feriados e licença médica remunerada. Funcionários assalariados em tempo integral têm direito imediato a tempo livre flexível. Veja mais detalhes sobre nossos Benefícios aqui.
A inclusão é um valor da Netflix e nos esforçamos para oferecer uma experiência de entrevista significativa para todos os candidatos. Se você precisar de uma adaptação/ajuste para uma deficiência ou qualquer outro motivo durante o processo de contratação, envie uma solicitação ao seu parceiro de recrutamento.
Somos um empregador com igualdade de oportunidades e celebramos a diversidade, reconhecendo que a diversidade constrói equipes mais fortes. Abordamos a diversidade e a inclusão de forma séria e atenciosa. Não discriminamos com base em raça, religião, cor, ancestralidade, origem nacional, casta, sexo, orientação sexual, gênero, identidade ou expressão de gênero, idade, deficiência, condição médica, gravidez, constituição genética, estado civil ou serviço militar.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil