Alemanha
Booz Allen Hamilton
Nebius
Engenheiro(a) Staff de Machine Learning, Otimização de Inferência de LLM
Alemanha
Prague, Prague, Czechia · Berlin, Germany · Amsterdam, North Holland, Netherlands · Zurich, Zurich, Switzerland · London, England, United Kingdom · Poland
Python
Tradução automática. Consulte o original.
Sobre a Nebius
A Nebius está liderando uma nova era na infraestrutura de nuvem para a economia global de IA. Estamos construindo uma plataforma de nuvem de IA full-stack que oferece suporte a desenvolvedores e empresas, desde o treinamento de dados e modelos até a implantação em produção, sem o custo e a complexidade de construir uma infraestrutura de IA/ML interna de grande porte.
Construída por engenheiros, para engenheiros. Desde a orquestração de GPU em larga escala até a otimização de inferência, resolvemos os problemas mais complexos em computação, armazenamento, rede e IA aplicada.
Listada na Nasdaq (NBIS) e com sede em Amsterdã, temos uma presença global com centros de P&D em toda a Europa, Reino Unido, América do Norte e Israel. Nossa equipe de mais de 1,500 pessoas inclui centenas de engenheiros com profunda experiência em hardware, software e P&D de IA.
Resumo da Função
A Nebius Token Factory está construindo inferência de nível de produção para modelos de código aberto, de clientes e otimizados internamente. Esta função é responsável pelo caminho do artefato do modelo até um endpoint rápido, confiável e com bom custo-benefício. O trabalho situa-se na interseção de componentes internos de modelos, mecanismos de inferência, arquitetura de serviço, benchmarking e implantação em produção.
Como é trabalhar na Nebius
Ritmo acelerado - Pensamento ousado - Crescimento constante - Impacto significativo - Confiança e autonomia real - Oportunidade de moldar o futuro da IA
O que você fará
- Ser responsável por um pilar de otimização em nível de plataforma, como quantização, decodificação especulativa, otimização de KV-cache, seleção de mecanismo ou serviço de contexto longo.
- Criar estruturas reutilizáveis de avaliação, benchmarking e lançamento em várias famílias de modelos.
- Fornecer direção técnica para MLEs, Cientistas Aplicados, engenheiros de kernel de GPU e engenheiros de infraestrutura em metas de desempenho compartilhadas.
- Otimizar endpoints de LLM e VLM para latência, throughput, eficiência de memória, utilização de GPU, qualidade e custo por token.
- Implantar, configurar, realizar benchmark e estender mecanismos de inferência como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo ou sistemas similares.
- Construir e colocar em produção fluxos de trabalho de compressão de modelos, incluindo quantização, treinamento com reconhecimento de quantização, destilação, serviço de baixa precisão e recuperação de precisão.
- Implementar ou integrar decodificação especulativa, abordagens de modelo de rascunho, otimização de KV-cache, cache de prefixo, prefill em blocos, processamento contínuo e serviço de prefill/decode desagregado.
- Construir ferramentas de benchmark reproduzíveis para TTFT, TPOT, tokens por segundo por GPU, latência p95/p99, memória de GPU, confiabilidade e custo por token.
- Colaborar com engenheiros de kernel de GPU e engenheiros de plataforma para diagnosticar gargalos em código de modelo, kernels, runtime, agendador, gateway e camadas de cluster.
- Escrever documentos de design claros, relatórios de desempenho, planos de lançamento e explicações técnicas voltadas para o cliente.
Qualificações Necessárias
- Fortes habilidades de engenharia em Python e PyTorch.
- Experiência prática na implantação ou otimização de LLM, VLM ou sistemas de inferência de transformadores de alto throughput.
- Conhecimento prático de pelo menos uma pilha de inferência moderna, como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe ou sistemas internos equivalentes.
- Forte compreensão dos gargalos de inferência de transformadores, incluindo KV cache, atenção, largura de banda de memória, processamento em lote, paralelismo e serviço de contexto longo.
- Capacidade de raciocinar quantitativamente sobre latência, throughput, qualidade, utilização e compensações de custo.
- Fortes habilidades de comunicação e capacidade de colaborar com equipes de pesquisa, kernel, infraestrutura, produto e clientes.
Qualificações Preferenciais
- Experiência com treinamento com reconhecimento de quantização, quantização pós-treinamento, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant ou técnicas relacionadas.
- Experiência com destilação, decodificação especulativa, EAGLE, Medusa, previsão de múltiplos tokens ou outros métodos de aceleração de inferência.
- Experiência com cargas de trabalho de agentes, incluindo chamadas de ferramentas, saídas estruturadas, APIs de streaming, alta simultaneidade e orquestração de várias etapas.
- Familiaridade com CUDA ou Triton, mesmo que a função não seja principalmente de engenharia de kernel.
- Contribuições de código aberto para vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe ou projetos relacionados.
Benefícios e Vantagens
- Remuneração competitiva
- Crescimento na carreira e oportunidades de aprendizado
- Flexibilidade e autonomia
- Cultura colaborativa e inovadora
- Oportunidade de trabalhar em projetos de IA de alto impacto
- Ambiente internacional e equipes talentosas
Declaração de Igualdade de Oportunidades
A Nebius é um empregador que oferece igualdade de oportunidades. Estamos comprometidos em promover um local de trabalho inclusivo e diversificado e em oferecer oportunidades iguais de emprego em todos os aspectos do trabalho. Não discriminamos com base em raça, cor, religião, sexo (incluindo gravidez), origem nacional, ascendência, idade, deficiência, informações genéticas, estado civil, status de veterano, orientação sexual, identidade ou expressão de gênero, ou qualquer outra característica protegida pela lei aplicável.
Os candidatos devem estar autorizados a trabalhar no país em que se candidatam e deverão fornecer prova de elegibilidade para o trabalho como condição de contratação.
Se você precisar de acomodações durante o processo de candidatura, por favor, nos avise.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil