Estados Unidos
Temple Health
Jobgether
Engenheiro de Plataforma de ML, Treinamento Distribuído
Estados Unidos
United States
PythonKubernetes
Tradução automática. Consulte o original.
Sobre a oportunidade
Esta vaga é anunciada em nome de uma empresa parceira, que gerencia todas as candidaturas e etapas subsequentes. Nossa parceira busca um Engenheiro de Plataforma de ML, Treinamento Distribuído, baseado nos Estados Unidos.
- Tipo de emprego: A posição pode ser oferecida como emprego em tempo integral ou trabalho por contrato, conforme indicado na listagem original.
Como o Jobgether funciona
Usamos um processo de correspondência baseado em IA para garantir que sua candidatura seja analisada de forma rápida, objetiva e justa em relação aos requisitos principais da função. Nosso sistema identifica os candidatos mais adequados, e esta lista é então compartilhada diretamente com a empresa contratante. A decisão final e as próximas etapas (entrevistas, avaliações) são gerenciadas pela equipe interna deles.
Agradecemos seu interesse e desejamos o melhor!
Por que se candidatar através do Jobgether?
Aviso de Privacidade de Dados: Ao enviar sua candidatura, você reconhece que o Jobgether processará seus dados pessoais para avaliar sua candidatura e compartilhar informações relevantes com o empregador contratante. Este processamento baseia-se em interesse legítimo e medidas pré-contratuais sob as leis de proteção de dados aplicáveis (incluindo o GDPR). Você pode exercer seus direitos (acesso, retificação, exclusão, objeção) a qualquer momento.
#LI-CL1
Junte-se a uma equipe de engenharia de IA de alto impacto que apoia aplicações de saúde e ciências da vida por meio do treinamento de modelos de base em larga escala. Como Engenheiro de Plataforma de ML especializado em treinamento distribuído, você trabalhará com infraestrutura de GPU e cargas de trabalho de treinamento de modelos em uma plataforma Google Kubernetes Engine (GKE) equipada com GPUs H200 e GB200. Você colaborará com engenheiros de infraestrutura e cientistas de pesquisa para otimizar o desempenho do treinamento, diagnosticar falhas complexas e melhorar a execução em múltiplos nós em escala. Em vez de focar apenas em operações de cluster, você assumirá a responsabilidade de ponta a ponta pela stack de treinamento, desde o agendamento de cargas de trabalho e rede de GPU até benchmarking e avaliações de modelos. Seu trabalho ajudará os cientistas a treinar modelos de forma mais eficiente, melhorando a confiabilidade, a escalabilidade e a relação custo-benefício do sistema. Esta função oferece um ambiente de engenharia prático onde profundidade técnica, resolução proativa de problemas e comunicação clara são essenciais.
Responsabilidades
- Otimizar a plataforma de treinamento: Trabalhar em parceria com equipes de infraestrutura para melhorar ambientes de treinamento baseados em GKE, incluindo pools de nós de GPU, agendamento de jobs, enfileiramento, cotas de recursos e gerenciamento de capacidade.
- Diagnosticar falhas na plataforma: Investigar as causas subjacentes de problemas de infraestrutura e treinamento, resolver problemas sistêmicos e implementar correções duradouras em vez de depender de soluções temporárias.
- Ajustar redes de GPU: Otimizar a comunicação de GPU entre múltiplos nós e o throughput de treinamento usando tecnologias e técnicas como RDMA, GPUDirect, NCCL e topologia de interconexão de GPU.
- Executar cargas de trabalho de treinamento distribuído: Executar, escalar, perfilar e depurar jobs de treinamento em múltiplos nós usando frameworks baseados em PyTorch, como FSDP, DeepSpeed, Megatron ou NeMo, juntamente com o Ray Train.
- Identificar gargalos de desempenho: Analisar a utilização de computação, consumo de memória, pipelines de entrada e comunicação de rede para melhorar a eficiência e a escalabilidade do treinamento.
- Projetar benchmarks de desempenho: Desenvolver e executar benchmarks que meçam o throughput, a eficiência de escalonamento e o custo por execução de treinamento, usando os resultados para orientar decisões de engenharia.
- Construir sistemas de avaliação de modelos: Criar e manter mecanismos de avaliação que meçam objetivamente o impacto de mudanças em receitas de treinamento, modelos e configurações de plataforma.
- Melhorar a observabilidade e os testes: Instrumentar cargas de trabalho de treinamento e componentes da plataforma com telemetria e monitoramento, e manter testes de pipeline de ponta a ponta que reflitam fluxos de trabalho reais dos usuários.
- Assumir a responsabilidade pelos resultados técnicos: Identificar proativamente lacunas, comunicar o status e os riscos dos projetos, propor soluções e apoiar os cientistas que dependem da plataforma.
- Colaborar e comunicar: Explicar e defender decisões arquiteturais para engenheiros e pesquisadores, trabalhar de forma eficaz entre equipes e adaptar-se a prioridades e estruturas organizacionais em evolução.
Requisitos mínimos
Requisitos
- Experiência profissional: Pelo menos 5 anos de experiência em engenharia, incluindo trabalho prático recente com infraestrutura de treinamento de GPU e treinamento de modelos em larga escala.
- Engenharia em Python: Sólidas habilidades em Python em nível de produção, incluindo escrever código limpo e sustentável, testes automatizados, participação em revisões de código e seguir boas práticas de desenvolvimento de software.
- Kubernetes e GKE: Experiência prática com Kubernetes no Google Cloud, incluindo pools de nós de GPU, sistemas de agendamento e enfileiramento de jobs como o Kueue, e gerenciamento de cotas de recursos e capacidade.
- Especialização em treinamento distribuído: Experiência direta na execução e depuração de jobs de treinamento em múltiplos nós com PyTorch e trabalho com Ray Train.
- Redes de GPU e interconexões: Sólida compreensão de RDMA, GPUDirect, ajuste de NCCL e arquiteturas de GPU em múltiplos nós envolvendo hardware H200 ou GB200.
- Análise de desempenho: Capacidade demonstrada de projetar e executar benchmarks de treinamento, avaliar o desempenho de modelos, identificar gargalos e usar evidências empíricas para orientar a otimização.
- Profundidade técnica: Capacidade de explicar a arquitetura do sistema, escolhas de implementação e comportamento de desempenho em detalhes, demonstrando julgamento de engenharia independente em vez de depender de ferramentas de codificação de IA para fornecer o raciocínio subjacente.
- Responsabilidade e comunicação: Histórico de comprometimento, resolução proativa de problemas, comunicação transparente e colaboração eficaz em ambientes de engenharia exigentes.
- Experiência de domínio preferencial: Familiaridade com dados de saúde ou ciências da vida, incluindo genômica, informações clínicas ou biomédicas, e experiência de trabalho sob requisitos da HIPAA.
- Habilidades adicionais preferenciais: Experiência na construção de observabilidade e telemetria para plataformas de treinamento, incluindo métricas, rastreamento, alertas e testes de pipeline de ponta a ponta.
Benefícios
- Salário anual: $159,300–$219,245, com a faixa salarial final determinada pelo nível atribuído e fatores aplicáveis, como experiência, especialização, desempenho na entrevista e localização geográfica.
- Plano de saúde abrangente: Cobertura de saúde para apoiar o bem-estar dos funcionários.
- Folga remunerada: Férias e licença remunerada geral.
- Feriados remunerados: Folga remunerada para feriados designados.
- Licença médica: Licença para apoiar a saúde e a recuperação.
- Licença parental: Licença para apoiar os funcionários e suas famílias.
- Licença por luto: Apoio durante momentos de perda.
- Benefícios de aposentadoria: Plano 401(k) com contrapartida do empregador.
- Bônus por indicação de funcionários: Oportunidades de receber bônus por indicações elegíveis.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil