Estados Unidos
SanMar- External
Normal Computing Corporation
Engenheiro de Runtime
RemotoEstados Unidos
Palo Alto, California, United States
C++Rust
Tradução automática. Consulte o original.
A Vaga
Normal Computing | Construa conosco
A Normal é uma empresa de IA aplicada que resolve os problemas mais complexos em IA e semicondutores. Construímos hardware e software fundamentais para a indústria de semicondutores, infraestrutura crítica de IA e os sistemas mais amplos que impulsionam nosso mundo, em parceria com as instituições mais avançadas do planeta. Trabalhamos como uma equipe única em Nova York, Vale do Silício (Mountain View), Londres, Copenhague e Seul.
O hardware da Normal executa as partes de inferência de grandes modelos que mais dependem de memória dentro da própria memória, em vez de transferir pesos para um processador. O software que torna isso programável ainda não existe em nenhuma forma padrão. O runtime é a camada pela qual o restante desse software é executado: é como os programas compilados são carregados, agendados e executados em nosso hardware. Você será responsável pelo seu design e por grande parte da sua implementação, além de definir sua direção técnica.
Esta é uma função sênior e prática. Nosso chip está em fase pré-silício, portanto, você construirá o runtime primeiro em nossos simuladores e protótipos FPGA, atrás de uma interface única, para que o software acima do runtime não precise mudar quando o silício chegar.
O que você irá liderar
- Arquitetura de Runtime: Responsável pelo design do runtime: gerenciamento de dispositivos, alocação de memória e transferência entre host e dispositivo, carregamento de executáveis e envio de comandos. O sucesso significa que o compilador e as camadas de serviço programam nosso hardware através de uma interface estável.
- Abstração de Hardware: Ocultar as diferenças entre simuladores, protótipos FPGA, silício e futuras gerações de hardware atrás dessa interface.
- Estado do Dispositivo: Gerenciar o estado que reside em nosso hardware entre as solicitações, como pesos de modelos residentes, para que a camada de serviço possa contar com ele.
- Desempenho: Manter a sobrecarga do runtime fora do caminho crítico para inferência de LLM, medido pela latência e throughput de ponta a ponta.
- Interfaces entre Equipes: Definir a fronteira com o compilador acima do runtime, e com o driver e firmware abaixo dele, que são de responsabilidade da nossa equipe de hardware.
- Liderança Técnica: Definir a direção técnica do runtime, revisar designs que dependem dele e trabalhar com engenheiros de compiladores e de serviço para garantir que a interface atenda às suas necessidades.
O que torna você um excelente candidato
- Experiência na construção de runtimes, drivers ou camadas de abstração de hardware para aceleradores ou outros hardwares não convencionais
- Sólida programação de sistemas em C++ ou Rust: gerenciamento de memória, concorrência e desempenho de baixo nível
- Histórico de responsabilidade por um componente de sistemas complexo de ponta a ponta, desde o design até a produção, e condução de decisões técnicas entre equipes
- Compreensão de cargas de trabalho de inferência de LLM e o que elas exigem de um runtime
- Conforto em construir software para hardware que ainda está em evolução, desde a simulação até a implementação inicial
Diferenciais
- Experiência com designs de runtime abertos, como o HAL do IREE, ou com internos de runtime de CUDA ou ROCm
- Experiência com computação em memória ou outro hardware não von-Neumann
- Experiência na integração de um runtime com um servidor de inferência como o vLLM
- Contribuições para runtimes de código aberto ou infraestrutura de sistemas
Declaração de Igualdade de Oportunidades de Emprego
A Normal Computing é um empregador que oferece igualdade de oportunidades. Celebramos a diversidade e estamos comprometidos em criar um ambiente inclusivo para todos os funcionários. Todos os candidatos qualificados serão considerados para o emprego sem distinção de raça, cor, religião, sexo, orientação sexual, identidade de gênero, origem nacional, deficiência, status de veterano ou qualquer outro status legalmente protegido.
Acomodações de Acessibilidade
A Normal Computing está comprometida em fornecer acomodações razoáveis para indivíduos com deficiência. Se você precisar de assistência ou de uma acomodação devido a uma deficiência, entre em contato conosco pelo e-mail [email protected].
Aviso de Privacidade
Ao enviar sua candidatura, você concorda que a Normal Computing pode coletar, usar e armazenar suas informações pessoais para fins relacionados ao emprego, de acordo com nosso Aviso de Privacidade para Candidatos.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil