Estados Unidos
Be Structured Technology Group
SambaNova
Ingeniero/a Senior de Infraestructura de ML
Estados Unidos
San Jose, California, United States · Austin, Texas, United States
Python
Traducción automática. Consulta el original.
Sobre la oportunidad
SambaNova es líder en infraestructura de IA de próxima generación y ofrece una plataforma de inferencia full-stack para clientes de todo el mundo. El núcleo de la tecnología de SambaNova es la RDU (Reconfigurable Dataflow Unit), un chip basado en una arquitectura de flujo de datos en lugar del modelo tradicional de GPU. Su rendimiento de decodificación es especialmente sólido para cargas de trabajo de agentes, como agentes de múltiples turnos, generación de código y aplicaciones de larga duración. Las RDU se integran en SambaRack, un hardware a escala de rack que permite a los clientes implementar modelos de última generación con un mejor rendimiento, mayor eficiencia energética y un tiempo de obtención de valor más rápido.
Sobre el equipo
El equipo de Infraestructura de ML construye y opera la pila de inferencia que sirve los modelos de SambaNova en aceleradores RDU, desde la programación de solicitudes y el almacenamiento en caché hasta las APIs públicas en SambaStack y SambaCloud. Llevamos técnicas de inferencia como la decodificación especulativa, la decodificación restringida y el servicio de contexto largo desde el prototipo hasta la producción, y somos responsables de la infraestructura de precisión que controla cada funcionalidad que lanzamos. Trabajamos junto a los equipos de ML, compiladores, tiempo de ejecución y producto, ya que la mayor parte de lo que construimos afecta a los cuatro.
Sobre el puesto
El/la Ingeniero/a de Software Senior de Infraestructura de ML será responsable de diseñar, construir y operar la infraestructura de inferencia de nivel de producción que impulsa la pila de servicio de SambaNova en nuestra arquitectura de Reconfigurable Dataflow Unit (RDU). SambaNova es una empresa centrada en la inferencia, y este puesto se sitúa en el corazón de esa misión: convertir técnicas de inferencia de última generación en servicios fiables, de alto rendimiento y baja latencia expuestos a los clientes a través de SambaStack y SambaCloud. El/la ingeniero/a se encargará de sistemas integrales que abarcan la programación de solicitudes, algoritmos de decodificación avanzados, capas de almacenamiento en caché, superficies de API y la infraestructura de precisión que mantiene la fiabilidad de la pila. Este puesto colabora estrechamente con los equipos de ML, compiladores, tiempo de ejecución y producto para lanzar funcionalidades de inferencia desde el prototipo hasta la producción.
Responsabilidades
- Diseñar y poner en producción técnicas de inferencia avanzadas en RDU para optimizar el rendimiento y los costes. Las áreas clave incluyen la decodificación especulativa, la decodificación restringida, la llamada a funciones/herramientas, el almacenamiento en caché de prompts y la inferencia de contexto largo.
- Gestionar la integración de SambaNova con vLLM y marcos de servicio adyacentes, adaptándolos a la arquitectura de RDU.
- Gestionar la superficie de API de inferencia pública expuesta a través de SambaStack y SambaCloud.
- Construir y mantener la infraestructura de verificación de precisión y regresión que controla cada funcionalidad de inferencia enviada a los clientes.
- Colaborar con los equipos de ML, compiladores, tiempo de ejecución y producto para llevar las funcionalidades de inferencia desde el prototipo hasta la producción.
- Contribuir a las discusiones de diseño técnico, revisiones de código y decisiones arquitectónicas como colaborador individual senior.
Cualificaciones requeridas
- Grado en Informática, Ingeniería Eléctrica o campo relacionado
- 5+ años de experiencia en el sector construyendo y operando sistemas distribuidos a gran escala, idealmente en servicio de ML
- Sólidos fundamentos de ingeniería de software: algoritmos, estructuras de datos, concurrencia y diseño de sistemas
- Experiencia en el diseño y mantenimiento de servicios de producción con requisitos estrictos de latencia, rendimiento y disponibilidad
- Conocimientos prácticos de técnicas modernas de inferencia de LLM y familiaridad con pilas de servicio de código abierto como vLLM, TensorRT-LLM o SGLang
- Dominio de Python
- Experiencia colaborando entre equipos para ofrecer soluciones de ingeniería complejas a nivel de sistema
Rango salarial base
Rango de salario base $200,000—$275,000 USD
Directrices de envío
Tenga en cuenta que, para ser considerado candidato a cualquier puesto en SambaNova Systems, debe enviar un formulario de solicitud para cada puesto para el que crea que está cualificado.
Política de igualdad de oportunidades (EEO)
SambaNova Systems es un empleador que ofrece igualdad de oportunidades y acción afirmativa. Todos los candidatos cualificados serán considerados para el empleo sin distinción de edad (40 años o más), color, discapacidad, identidad de género, información genética, estado civil, estatus militar o de veterano, origen nacional/ascendencia, raza, religión, credo, sexo (incluyendo embarazo, parto, lactancia), orientación sexual y cualquier otro estatus aplicable protegido por las leyes federales, estatales o locales.
Resumen de beneficios para puestos de empleo a tiempo completo con sede en EE. UU.
SambaNova ofrece un paquete de compensación total competitivo, que incluye el salario base, además de capital y beneficios. Cubrimos el 95% de la cobertura de la prima del seguro médico del empleado y el 77% de la cobertura de la prima para dependientes, y ofrecemos una Cuenta de Ahorros para la Salud (HSA) con contribución del empleador. También ofrecemos planes de seguro dental, de visión, de invalidez a corto/largo plazo, de vida básico, de vida voluntario y de muerte accidental y desmembramiento (AD&D), además de opciones de Cuenta de Gastos Flexibles (FSA) como atención médica, propósito limitado y cuidado de dependientes. Nuestra biblioteca de beneficios de bienestar disponibles para usted y sus dependientes incluye una suscripción completa a Headspace, membresía de Gympass+ con acceso a gimnasios físicos, membresía de One Medical, servicios de asesoramiento con un Programa de Asistencia al Empleado y mucho más.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil