Estados Unidos
HEARTLAND BUSINESS SYSTEMS LLC
Majestic Labs
Ingeniero de inferencia LLM
Estados Unidos
Los Altos, California, United States
PythonC++
Traducción automática. Consulta el original.
Sobre el puesto
Somos una startup de IA de rápido crecimiento, con sede en EE. UU. e Israel, que construye la infraestructura de próxima generación para las cargas de trabajo de IA más exigentes del mundo. Nuestra misión es acelerar el futuro de la inteligencia y hacerla accesible de forma ubicua mediante la entrega de servidores de IA personalizados full stack optimizados para la inferencia y el entrenamiento a gran escala.
Respaldados por inversores de primer nivel y dirigidos por veteranos del sector, estamos escalando rápidamente. Buscamos ingenieros y operadores con visión de futuro que prosperen en un entorno colaborativo y destaquen en la resolución de desafíos complejos desde los principios fundamentales. Si quieres construir una infraestructura que cambie fundamentalmente lo que el mundo puede lograr con la IA, ¡únete a nosotros!
En este puesto de alto impacto, serás el puente entre el silicio personalizado de vanguardia y la IA de nivel de producción. Te encargarás de toda la pila de servicio LLM en el hardware de Majestic, diseñando desde las APIs de servicio hasta la gestión de caché KV, el procesamiento por lotes y la programación. Tu misión principal es portar marcos de trabajo líderes como vLLM y SGLang a nuestro acelerador y optimizarlos para obtener el máximo rendimiento. Debido a que nuestra arquitectura ofrece margen de memoria, no solo igualarás a las GPU tradicionales; superarás sus límites en cuanto a rendimiento, tamaños de lote y longitudes de contexto. A medida que identifiques cuellos de botella, tus conocimientos guiarán directamente nuestro futuro desarrollo de kernels, compiladores y hardware.
Buscamos personas inteligentes, curiosas y proactivas que disfruten de la resolución creativa de problemas y el aprendizaje continuo. Incluso si no cumples con todos los requisitos, nos encantaría saber de ti si tienes la mentalidad necesaria para abordar desafíos complejos.
Majestic Labs es un empleador que ofrece igualdad de oportunidades y está profundamente comprometido con la diversidad de antecedentes y pensamiento. Si estás listo para atreverte a lo grande, aprender de los errores, participar en debates vigorosos y ayudar a crear un cambio radical en la capacidad técnica humana, ¡queremos conocerte!
Responsabilidades
- La pila de servicio, de principio a fin: implementar y adaptar un marco de inferencia moderno (vLLM, SGLang o similar) para que funcione en el hardware de Majestic.
- La ruta crítica del tiempo de ejecución: procesamiento por lotes continuo, el programador, caché KV paginada y desagregación de prefill/decode.
- Inferencia distribuida a escala: paralelismo de tensores, de canalización y de expertos a través de aceleradores, conectados a nuestra biblioteca de comunicación colectiva (CCL).
- La canalización multimodal: preprocesamiento de imagen, audio y vídeo, integración de codificadores y procesamiento por lotes de modalidad mixta.
- Técnicas de tiempo de inferencia: decodificación especulativa, almacenamiento en caché de prefijos y decodificación estructurada.
- Rendimiento de extremo a extremo: perfilar, realizar pruebas comparativas y detectar cuellos de botella en toda la ruta de servicio, enviando los hallazgos a los equipos de kernel, compilador y hardware.
Requisitos
- 5+ años construyendo u operando sistemas de inferencia y servicio LLM en producción.
- Experiencia práctica profunda con un marco de inferencia moderno (vLLM, SGLang, TensorRT-LLM, Fireworks o similar), incluyendo su programador, atención paginada / caché KV, ejecutor de modelos y puntos de integración de backend.
- Sólidos conocimientos de Python y C++, con la capacidad de moverse con fluidez entre ambos.
- Una comprensión real de la inferencia de transformadores: la división prefill/decode, el comportamiento de la caché KV y cómo la dinámica de procesamiento por lotes da forma a la latencia y el rendimiento.
- Experiencia en inferencia distribuida: paralelismo de tensores y de canalización a través de múltiples dispositivos.
- Instinto para el rendimiento: capacidad para perfilar una pila de extremo a extremo y perseguir una regresión desde la API de servicio hasta el kernel.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil