Estados Unidos
Launch Legends
Toyota Research Institute
Engenheiro(a) de Pesquisa Sênior, Visão Computacional (LFV/WFM)
Estados Unidos
Los Altos, California, United States
PythonAWSDockerKubernetes
Tradução automática. Consulte o original.
Sobre a oportunidade
No Toyota Research Institute (TRI), temos a missão de melhorar a qualidade de vida humana. Estamos desenvolvendo novas ferramentas e capacidades para ampliar a experiência humana. Para liderar essa mudança transformadora na mobilidade, construímos uma equipe de classe mundial que avança o estado da arte em IA, robótica, direção e ciências de materiais.
A equipe Learning From Videos (LFV) desenvolve modelos de fundação mundial que utilizam dados multimodais em larga escala (RGB, profundidade, fluxo, semântica, ações, tátil, áudio, etc.) de múltiplos domínios para potencializar tarefas de IA incorporada (embodied AI). Nossos tópicos de interesse incluem Geração de Vídeo, Modelos de Mundo, Reconstrução 4D, Modelos Multimodais, Geometria Multi-Visão, Aumento de Dados e modelos de Vídeo-Linguagem-Ação, com foco principal em aplicações incorporadas, como robótica e direção. Estamos progredindo em alguns dos desafios científicos mais difíceis em raciocínio espaço-temporal e como isso pode levar à implantação de agentes autônomos em ambientes não estruturados do mundo real.
Nossa equipe está procurando um(a) Engenheiro(a) de Pesquisa para ajudar a desenvolver e implantar nossos modelos de fundação mundial (WFMs) em direção aos seus principais marcos no domínio da direção autônoma. À medida que nossos WFMs escalam em capacidade e ambição, precisamos de um(a) engenheiro(a) forte que possa preencher a lacuna entre ideias de pesquisa e sistemas de nível de produção. Este não é um papel tradicional de engenharia de software; você trabalhará diretamente com cientistas de pesquisa, entenderá a pesquisa o suficiente para tomar decisões técnicas independentes e desempenhará um papel fundamental na viabilização da implantação de avanços de pesquisa chave em ambientes próximos à produção.
Como Engenheiro(a) de Pesquisa, você será responsável por dar suporte e otimizar o treinamento distribuído em larga escala de modelos de difusão e transformer; manter a infraestrutura que ingere, unifica e serve conjuntos de dados multimodais heterogêneos em escala; e desenvolver ferramentas e pipelines que aceleram o ciclo de pesquisa-para-resultados. Você trabalhará em estreita colaboração com pesquisadores para prototipar novas ideias, executar experimentos e ajudar a enviar nossos modelos mais bem-sucedidos para aplicações do mundo real com impacto real.
Este papel exige colaboração estreita com várias divisões do TRI (Robótica, Direção Automatizada, Direção Interativa Humana, etc.), bem como parceiros externos da Toyota e Universidades, e a capacidade de reconciliar e priorizar requisitos possivelmente concorrentes em um ambiente rápido que combina pesquisa e produção. \n
Responsabilidades
- Colaborar diretamente com cientistas de pesquisa para implementar, iterar e avaliar novas arquiteturas, objetivos, conjuntos de dados e estratégias de treinamento. Traduzir protótipos de pesquisa em código limpo, mantenível e reutilizável que será compartilhado entre várias equipes do TRI e o ecossistema mais amplo da Toyota.
- Construir e manter pipelines escaláveis para ingestão, conversão, validação e serviço de conjuntos de dados heterogêneos (multivisualização, multimodal, multi-embodiment, etc.), em robótica e direção autônoma, em formatos unificados prontos para treinamento. Rastrear e integrar novos conjuntos de dados públicos e internos à medida que se tornam disponíveis.
- Dar suporte e otimizar o treinamento distribuído em larga escala de modelos de fundação mundial em clusters multi-GPU e multi-nó. Gerenciar fluxos de trabalho de experimentos, profiling, depuração e varreduras de hiperparâmetros para garantir o desempenho ideal em tempo hábil.
- Desenvolver ferramentas para inspeção de conjuntos de dados, rastreamento de experimentos, avaliação de modelos, gerenciamento de recursos de GPU e visualização. Automatizar fluxos de trabalho repetitivos para melhorar a velocidade da equipe.
- Trabalhar com outras equipes do TRI e afiliadas da Toyota para configurar pipelines compartilhados, integrar seus dados e dar suporte a esforços conjuntos de treinamento e avaliação.
- Produzir código mantenível e bem documentado. Contribuir para ferramentas internas e lançamentos de código aberto para a comunidade científica.
Qualificações
- Mestrado ou Doutorado em Ciência da Computação, Engenharia Elétrica, Machine Learning, ou área relacionada, com um mínimo de 2 anos de experiência relevante e fortes habilidades em engenharia de software.
- Proficiência profunda em Python, PyTorch, e o toolchain Unix/Linux. Conforto em trabalhar em fluxos de trabalho com uso intensivo de terminal e baseados em SSH em clusters de GPU compartilhados.
- Experiência prática com treinamento de deep learning em larga escala, incluindo treinamento distribuído (DDP, FSDP, DeepSpeed ou similar), profiling de GPU e depuração de falhas de treinamento em escala.
- Experiência na construção de pipelines de dados para conjuntos de dados heterogêneos ou multimodais (imagens, vídeo, profundidade, nuvens de pontos, ações, etc.).
- Experiência com modelos de difusão de vídeo, reconstrução 3D/4D e geometria multi-visão.
- Você é proativo(a), autodirigido(a) e confortável em operar com ambiguidade em um ambiente orientado à pesquisa que abrange múltiplas divisões.
- Você é um(a) colega de equipe confiável que se comunica claramente e assume a responsabilidade por problemas de ponta a ponta.
Qualificações Adicionais (Bônus)
- Experiência com infraestrutura de treinamento em nuvem (AWS SageMaker, EC2) e fluxos de trabalho conteinerizados (Docker, Kubernetes).
- Familiaridade com formatos de dados padrão e pipelines de coleta (ROS, MCAP, HDF5, etc.), bem como ambientes de simulação.
- Proficiência com ferramentas modernas de desenvolvimento assistido por IA (por exemplo, Copilot, Cursor, Claude Code) para acelerar fluxos de trabalho de engenharia.
- Histórico de contribuições para projetos de código aberto ou publicações em locais de destaque (CVPR, ICLR, NeurIPS, RSS, ICRA, etc.) é um diferencial, mas não obrigatório.
\n Por favor, inclua links para quaisquer contribuições relevantes de código aberto ou resumos de projetos técnicos em sua candidatura.
Por favor, consulte este Aviso de Privacidade do Candidato para informá-lo sobre as categorias de informações pessoais que coletamos de indivíduos que consultam e/ou se candidatam a trabalhar para Toyota Research Institute, Inc. ou suas subsidiárias, incluindo Toyota A.I. Ventures GP, L.P., e os propósitos para os quais usamos tais informações pessoais.
É ilegal em Massachusetts exigir ou administrar um teste de detector de mentiras como condição de emprego ou emprego contínuo. Um empregador que viola esta lei estará sujeito a penalidades criminais e responsabilidade civil. De acordo com a San Francisco Fair Chance Ordinance, consideraremos candidatos qualificados com registros de prisão e condenação para emprego.
A faixa salarial para esta posição no início do emprego é esperada entre $180,000 e $258,750/ano para cargos baseados na Califórnia.
O salário base oferecido dependerá de múltiplos fatores individualizados, incluindo, mas não se limitando a, experiência do candidato, habilidades, conhecimento relacionado ao trabalho e localização de mercado. O TRI oferece um generoso pacote de benefícios, incluindo seguro médico, odontológico e oftalmológico, elegibilidade para plano 401(k), benefícios de licença remunerada (incluindo férias, licença médica e licença parental) e uma estrutura de bônus anual em dinheiro. Detalhes adicionais sobre esses planos de benefícios serão fornecidos se um funcionário receber uma oferta de emprego.
O TRI é impulsionado por uma comunidade diversificada e inclusiva de pessoas com origens, educação e experiências de vida únicas. Estamos dedicados a promover um ambiente inovador e colaborativo, vivenciando os valores que são parte essencial de nossa cultura. Acreditamos que a diversidade nos torna mais fortes e temos orgulho de oferecer Igualdade de Oportunidades de Emprego para todos, sem levar em conta raça, cor, credo, gênero, identidade ou expressão de gênero, orientação sexual, origem nacional, idade, deficiência física ou mental, condição médica, religião, estado civil, informações genéticas, status de veterano ou qualquer outro status protegido pelas leis federais, estaduais ou locais.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil