(Sênior/Júnior) Engenheiro de Confiabilidade de Inferência de IA, Infraestrutura de Computação

Estamos em busca de um engenheiro de software, com foco em confiabilidade, mas que ainda atue como desenvolvedor, para ser responsável pelo que acontece em produção no plano de controle nativo de Kubernetes que provisiona e executa nossa frota de inferência de GPU. A equipe de plataforma desenvolve a API orientada a manifestos e os controladores que permitem que a equipe de inferência declare o que precisa — um cluster, uma implantação de modelo, uma alteração de capacidade — e obtenha a reconciliação necessária. Seu trabalho é garantir que essa promessa seja cumprida no mundo real: realizar a triagem de problemas de InfiniBand quando os nós de prefill e decode travam ao trocar KV cache via RDMA, diagnosticar falhas em modelos hero e de serviço LoRA que não aparecem em verificações de integridade genéricas e estender o sistema de autocura automatizado para que cada novo modo de falha se torne uma correção permanente em vez de um chamado recorrente.

O valor central que buscamos é manter o desacoplamento real mesmo quando as coisas falham, e manter a frota eficiente sem que essa eficiência se torne uma nova fonte de instabilidade. Você será responsável pelos SLOs e orçamentos de erro para o serviço de inferência, liderará a resposta a incidentes e transformará o que os postmortems ensinam em mudanças reais nos controladores e na automação, não apenas em runbooks atualizados. Você também trabalhará no lado da confiabilidade da eficiência de capacidade, já que uma desfragmentação ou um processo de bin-packing mal ajustado é, por si só, um risco de produção. Candidatos fortes possuem experiência prática em confiabilidade de produção em sistemas distribuídos de grande escala ou sistemas de serviço de GPU, sentem-se confortáveis na solução de problemas de InfiniBand/RDMA e plataformas baseadas em controladores/CRD de Kubernetes, e pensam na infraestrutura de GPU, e nas ferramentas que a mantêm confiável, como software a ser projetado.

Uma mentalidade de produto é aplicada: a experiência de on-call, a clareza de um alerta e o julgamento incorporado em uma remediação automatizada são coisas que você entrega e aprimora.

Oferecemos remuneração competitiva, participação acionária (equity) em startup, plano de saúde e outros benefícios competitivos. A faixa salarial base nos EUA para esta posição em tempo integral é: $160,000 - $280,000 + equity + benefícios. Nossas faixas salariais são determinadas por localização, nível e função. A remuneração individual será determinada pela experiência, habilidades e conhecimento relacionado ao trabalho.

Together AI é um empregador que oferece igualdade de oportunidades e tem orgulho de oferecer igualdade de oportunidades de emprego a todos, independentemente de raça, cor, ancestralidade, religião, sexo, origem nacional, orientação sexual, idade, cidadania, estado civil, deficiência, identidade de gênero, status de veterano e muito mais.

Por favor, consulte nossa política de privacidade em together.ai/privacy.