Alemania
Booz Allen Hamilton
Nebius
Ingeniero Staff de Machine Learning, Optimización de inferencia LLM
Alemania
Prague, Prague, Czechia · Berlin, Germany · Amsterdam, North Holland, Netherlands · Zurich, Zurich, Switzerland · London, England, United Kingdom · Poland
Python
Traducción automática. Consulta el original.
Sobre Nebius
Nebius lidera una nueva era en infraestructura en la nube para la economía global de la IA. Estamos construyendo una plataforma de nube de IA full-stack que brinda soporte a desarrolladores y empresas desde el entrenamiento de datos y modelos hasta el despliegue en producción, sin el coste ni la complejidad de construir una infraestructura de IA/ML interna a gran escala.
Creado por ingenieros, para ingenieros. Desde la orquestación de GPU a gran escala hasta la optimización de inferencia, nos encargamos de los problemas complejos en computación, almacenamiento, redes e IA aplicada.
Cotizamos en el Nasdaq (NBIS) y tenemos nuestra sede en Ámsterdam, con presencia global y centros de I+D en Europa, el Reino Unido, Norteamérica e Israel. Nuestro equipo de más de 1,500 personas incluye cientos de ingenieros con una profunda experiencia en hardware, software e I+D de IA.
Resumen del puesto
Token Factory de Nebius está construyendo inferencia de nivel de producción para modelos de código abierto, de clientes y optimizados internamente. Este puesto es responsable de todo el proceso, desde el artefacto del modelo hasta el endpoint rápido, fiable y rentable. El trabajo se sitúa en la intersección de los aspectos internos del modelo, los motores de inferencia, la arquitectura de servicio, el benchmarking y el despliegue en producción.
Cómo es trabajar en Nebius
Ritmo rápido - Pensamiento audaz - Crecimiento constante - Impacto significativo - Confianza y autonomía real - Oportunidad de dar forma al futuro de la IA
Qué harás
- Liderar un pilar de optimización a nivel de plataforma, como cuantización, decodificación especulativa, optimización de KV-cache, selección de motores o servicio de contexto largo.
- Crear marcos reutilizables de evaluación, benchmarking y despliegue para múltiples familias de modelos.
- Proporcionar dirección técnica a MLEs, científicos aplicados, ingenieros de kernels de GPU e ingenieros de infraestructura sobre objetivos de rendimiento compartidos.
- Optimizar endpoints de LLM y VLM en cuanto a latencia, rendimiento, eficiencia de memoria, utilización de GPU, calidad y coste por token.
- Desplegar, configurar, evaluar y ampliar motores de inferencia como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo o sistemas similares.
- Construir y poner en producción flujos de trabajo de compresión de modelos, incluyendo cuantización, entrenamiento consciente de la cuantización, destilación, servicio de bajo bit y recuperación de precisión.
- Implementar o integrar decodificación especulativa, enfoques de modelos de borrador, optimización de KV-cache, almacenamiento en caché de prefijos, prefill fragmentado, procesamiento por lotes continuo y servicio de prefill/decode desagregado.
- Construir arneses de benchmarking reproducibles para TTFT, TPOT, tokens por segundo por GPU, latencia p95/p99, memoria de GPU, fiabilidad y coste por token.
- Colaborar con ingenieros de kernels de GPU e ingenieros de plataforma para diagnosticar cuellos de botella en el código del modelo, kernels, tiempo de ejecución, programador, puerta de enlace y capas de clúster.
- Redactar documentos de diseño claros, informes de rendimiento, planes de despliegue y explicaciones técnicas dirigidas a clientes.
Cualificaciones requeridas
- Sólidas habilidades de ingeniería en Python y PyTorch.
- Experiencia práctica en el despliegue u optimización de LLM, VLM o sistemas de inferencia de transformadores de alto rendimiento.
- Conocimiento práctico de al menos una pila de inferencia moderna como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe o sistemas internos equivalentes.
- Sólida comprensión de los cuellos de botella en la inferencia de transformadores, incluyendo KV cache, atención, ancho de banda de memoria, procesamiento por lotes, paralelismo y servicio de contexto largo.
- Capacidad para razonar cuantitativamente sobre las compensaciones entre latencia, rendimiento, calidad, utilización y coste.
- Excelentes habilidades de comunicación y capacidad para colaborar con equipos de investigación, kernels, infraestructura, producto y clientes.
Cualificaciones preferentes
- Experiencia con entrenamiento consciente de la cuantización, cuantización post-entrenamiento, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant o técnicas relacionadas.
- Experiencia con destilación, decodificación especulativa, EAGLE, Medusa, predicción de múltiples tokens u otros métodos de aceleración de inferencia.
- Experiencia con cargas de trabajo de agentes, incluyendo llamadas a herramientas, salidas estructuradas, APIs en streaming, alta concurrencia y orquestación de múltiples pasos.
- Familiaridad con CUDA o Triton, incluso si el puesto no es principalmente de ingeniería de kernels.
- Contribuciones de código abierto a vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe o proyectos relacionados.
Beneficios y ventajas
- Compensación competitiva
- Oportunidades de crecimiento profesional y aprendizaje
- Flexibilidad y autonomía
- Cultura colaborativa e innovadora
- Oportunidad de trabajar en proyectos de IA de gran impacto
- Entorno internacional y equipos con gran talento
Declaración de igualdad de oportunidades
Nebius es un empleador que ofrece igualdad de oportunidades. Estamos comprometidos a fomentar un lugar de trabajo inclusivo y diverso y a proporcionar igualdad de oportunidades de empleo en todos los aspectos laborales. No discriminamos por motivos de raza, color, religión, sexo (incluido el embarazo), origen nacional, ascendencia, edad, discapacidad, información genética, estado civil, condición de veterano, orientación sexual, identidad o expresión de género, ni ninguna otra característica protegida por la ley aplicable.
Los solicitantes deben estar autorizados para trabajar en el país en el que presentan su solicitud y deberán proporcionar prueba de elegibilidad para el empleo como condición de contratación.
Si necesita adaptaciones durante el proceso de solicitud, por favor háganoslo saber.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil