Estados Unidos
HEARTLAND BUSINESS SYSTEMS LLC
Majestic Labs
Engenheiro de Inferência de LLM
Estados Unidos
Los Altos, California, United States
PythonC++
Tradução automática. Consulte o original.
Sobre a posição
Somos uma startup de IA ágil, com sede nos EUA e em Israel, que está construindo a infraestrutura de próxima geração para as cargas de trabalho de IA mais exigentes do mundo. Nossa missão é acelerar o futuro da inteligência e torná-la acessível de forma ubíqua, fornecendo servidores de IA personalizados full stack otimizados para inferência e treinamento em larga escala.
Com o apoio de investidores de primeira linha e liderada por veteranos do setor, estamos crescendo rapidamente. Buscamos engenheiros e operadores com visão de futuro que prosperem em um ambiente colaborativo e se destaquem na resolução de desafios complexos a partir de princípios fundamentais. Se você deseja construir uma infraestrutura que mude fundamentalmente o que o mundo pode realizar com IA, venha se juntar a nós!
Nesta função de alto impacto, você será a ponte entre o silício personalizado de ponta e a IA em nível de produção. Você será responsável por todo o stack de serviço de LLM no hardware da Majestic, arquitetando desde APIs de serviço até o gerenciamento de cache KV, processamento em lote (batching) e agendamento. Sua missão principal é portar frameworks líderes como vLLM e SGLang para nosso acelerador e otimizá-los para desempenho máximo. Como nossa arquitetura oferece margem de memória, você não apenas igualará as GPUs tradicionais; você superará seus limites de throughput, tamanhos de lote e comprimentos de contexto. Ao identificar gargalos, seus insights direcionarão diretamente nosso futuro desenvolvimento de kernel, compilador e hardware.
Buscamos indivíduos inteligentes, curiosos e autodirigidos que gostem de resolução criativa de problemas e aprendizado contínuo. Mesmo que você não atenda a todos os requisitos, adoraríamos ouvir você se tiver a mentalidade para enfrentar desafios complexos.
A Majestic Labs é uma empregadora que oferece oportunidades iguais, profundamente comprometida com a diversidade de origens e pensamentos. Se você está pronto para ousar, aprender com os erros, participar de debates vigorosos e ajudar a criar uma mudança de patamar na capacidade técnica humana, queremos conhecê-lo!
Responsabilidades
- O stack de serviço, de ponta a ponta — implementar e adaptar um framework de inferência moderno (vLLM, SGLang ou similar) para rodar no hardware da Majestic.
- O caminho crítico de runtime — processamento em lote contínuo, o agendador, cache KV paginado e desagregação de prefill/decode.
- Inferência distribuída em escala — paralelismo de tensores, pipeline e de especialistas entre aceleradores, conectados à nossa biblioteca de comunicação coletiva (CCL).
- O pipeline multimodal — pré-processamento de imagem, áudio e vídeo, integração de codificadores e processamento em lote de modalidades mistas.
- Técnicas de tempo de inferência — decodificação especulativa, cache de prefixo e decodificação estruturada.
- Desempenho de ponta a ponta — perfilar, realizar benchmarks e identificar gargalos em todo o caminho de serviço, fornecendo descobertas para as equipes de kernel, compilador e hardware.
Requisitos
- 5+ anos construindo ou operando sistemas de inferência e serviço de LLM em produção.
- Trabalho profundo e prático com um framework de inferência moderno como vLLM, SGLang, TensorRT-LLM, Fireworks ou similar, incluindo seu agendador, atenção paginada / cache KV, executor de modelo e pontos de integração de backend.
- Forte domínio de Python e C++, com a capacidade de transitar com fluidez entre os dois.
- Uma compreensão real da inferência de transformers: a divisão prefill/decode, comportamento do cache KV e como a dinâmica de processamento em lote molda a latência e o throughput.
- Experiência em inferência distribuída: paralelismo de tensores e de pipeline entre múltiplos dispositivos.
- Instinto para desempenho: você consegue perfilar um stack de ponta a ponta e perseguir uma regressão desde a API de serviço até o kernel.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil