Estados Unidos
Siemens
SambaNova
Arquitecto de Rendimiento de Sistemas de Inferencia
Estados Unidos
San Jose, California, United States
Traducción automática. Consulta el original.
Sobre la oportunidad
SambaNova es líder en infraestructura de IA de próxima generación y ofrece una plataforma de inferencia full-stack para clientes de todo el mundo. El núcleo de la tecnología de SambaNova es la RDU (Reconfigurable Dataflow Unit), un chip basado en una arquitectura de flujo de datos en lugar del modelo tradicional de GPU. Su rendimiento de decodificación es especialmente sólido para cargas de trabajo de agentes, como agentes de múltiples turnos, generación de código y aplicaciones de larga duración. Las RDU se integran en SambaRack, un hardware a escala de rack que permite a los clientes implementar modelos de última generación con un mejor rendimiento, mayor eficiencia energética y un tiempo de obtención de valor más rápido.
Sobre el equipo
El equipo de Rendimiento de Sistemas de Inferencia responde a la pregunta de qué tan rápido pueden los sistemas de SambaNova servir modelos de lenguaje de gran tamaño y qué se necesita para lograrlo. Capturamos tráfico de producción real, lo evaluamos de forma fiel, modelamos y simulamos configuraciones que aún no existen, y perfilamos la canalización de servicio distribuida a través del host, el acelerador y el tejido (fabric). Nuestro trabajo alimenta la optimización del servicio actual, así como la planificación de hardware y capacidad para la próxima generación. Trabajamos en estrecha colaboración con los equipos de optimización de modelos, sistemas, hardware y producto, y toda la empresa depende de nuestras métricas.
Sobre el puesto
Serás el arquitecto del rendimiento de inferencia de extremo a extremo: cómo se mueve una solicitud a través de la tokenización, el prefill, la decodificación y el tejido entre ellos, y cómo se dimensiona una implementación frente a los SLO de los clientes. El trabajo tiene dos pilares acoplados. Uno es la captura y evaluación comparativa de cargas de trabajo reproducibles, creando representaciones repetibles de tráfico real y cada vez más orientado a agentes, para que las mediciones reflejen la producción en lugar de un script de carga ingenuo. El otro es el modelado y la simulación de rendimiento, convirtiendo la medición en una capacidad de análisis hipotético para configuraciones y hardware que aún no existen.
La frontera que ayudarás a definir es la inferencia heterogénea y desagregada, con GPU en el prefill y la RDU en la decodificación. Esto abre problemas complejos en redes, almacenamiento, almacenamiento en caché de prompts y movimiento de datos limitado por la latencia de cola. El rendimiento de los sistemas de inferencia es un campo joven y la mayoría de las respuestas aún están por descubrirse, por lo que dedicarás tu tiempo a problemas ambiguos sin una solución establecida, y establecerás la dirección técnica sobre la que otros construirán.
Responsabilidades
- Definir y dirigir la estrategia técnica para el rendimiento de los sistemas de inferencia, incluyendo la captura de cargas de trabajo, evaluación comparativa, modelado y simulación, mientras desarrollas una arquitectura que permita muchos futuros potenciales.
- Construir la capacidad de captura de cargas de trabajo y evaluación comparativa de agentes: capturar tráfico de producción representativo y aplicar la disciplina de analizar los resultados, detectando contenciones artificiales o tasas de aciertos de caché engañosamente altas que nunca ocurren en el uso real.
- Liderar la práctica de modelado y simulación de rendimiento: modelos que predicen cómo un cambio de configuración afecta al resultado, informando la planificación de capacidad frente a los SLO de los clientes y la planificación de sistemas y hardware de próxima generación.
- Atacar la brecha de perfilado de extremo a extremo: impulsar herramientas que produzcan perfiles precisos y procesables de una canalización de inferencia distribuida para que los cuellos de botella puedan localizarse en el host, el acelerador y el tejido.
- Actuar como la voz técnica senior en los equipos de optimización de modelos, sistemas, hardware y producto, uniendo múltiples actividades y equipos de ingeniería, y sopesando las compensaciones de fiabilidad, escalabilidad, coste operativo y facilidad de adopción.
- Actuar como recurso para toda la organización, incluyendo la representación de la historia de rendimiento de SambaNova ante clientes y socios.
- Mentorear y multiplicar el impacto elevando la capacidad de los ingenieros principales y senior, construyendo los sistemas, herramientas y patrones que hacen que todos sean más productivos.
- Impulsar la resolución de los desafíos más ambiguos y novedosos que abarcan límites organizacionales o que aún no tienen una respuesta establecida en el campo.
Cualificaciones requeridas
- Grado en Ingeniería Informática, Ciencias de la Computación o campo relacionado.
- 12+ años de experiencia en ingeniería de rendimiento, con un historial demostrado de liderazgo técnico en sistemas complejos y a gran escala.
- Experiencia profunda en el análisis de rendimiento de extremo a extremo de sistemas distribuidos con muchas partes móviles y la capacidad de localizar cuellos de botella que otros no pueden.
- Dominio probado de la generación y simulación de cargas de trabajo realistas y del modelado de rendimiento, incluyendo la calibración de modelos frente a cargas de trabajo reales y variables.
- Capacidad demostrada para entrar en un dominio desconocido y aplicar métodos de rendimiento básicos con experiencia disciplinaria transferible.
- Capacidad para liderar esfuerzos interfuncionales, mentorear a ingenieros senior e influir en la dirección de la organización.
- Experiencia representando a una organización de manera creíble ante clientes y socios.
- Historial de definición y entrega independiente de trabajos de alta complejidad y ambigüedad con un impacto significativo en los productos o la hoja de ruta.
Cualificaciones preferentes
- Máster o Doctorado en Ingeniería Informática, Ciencias de la Computación o campo relacionado.
- Experiencia directa con el servicio de inferencia LLM: procesamiento por lotes continuo, almacenamiento en caché de prompts/KV, desagregación de prefill/decodificación, SLO de latencia de cola.
- Familiaridad con marcos de simulación de inferencia o esfuerzos de evaluación comparativa de agentes.
- Una voz técnica pública: charlas, artículos o presencia en la comunidad sobre rendimiento de sistemas.
Rango salarial base
Rango de salario base $245,000—$325,000 USD
Directrices de envío
Ten en cuenta que, para ser considerado candidato a cualquier puesto en SambaNova Systems, debes enviar un formulario de solicitud para cada puesto para el que creas estar cualificado.
Política de igualdad de oportunidades (EEO)
SambaNova Systems es un empleador que ofrece igualdad de oportunidades y acción afirmativa. Todos los candidatos cualificados serán considerados para el empleo sin distinción de edad (40 años o más), color, discapacidad, identidad de género, información genética, estado civil, estatus militar o de veterano, origen nacional/ascendencia, raza, religión, credo, sexo (incluyendo embarazo, parto, lactancia), orientación sexual y cualquier otro estatus protegido por las leyes federales, estatales o locales aplicables.
Resumen de beneficios para puestos a tiempo completo con sede en EE. UU.
SambaNova ofrece un paquete de compensación total competitivo, que incluye el salario base, además de capital y beneficios. Cubrimos el 95% de la cobertura de la prima del seguro médico para empleados y el 77% de la cobertura de la prima para dependientes, y ofrecemos una Cuenta de Ahorros para la Salud (HSA) con contribución del empleador. También ofrecemos planes de seguro dental, de visión, de discapacidad a corto/largo plazo, de vida básico, de vida voluntario y de muerte accidental y desmembramiento (AD&D), además de opciones de Cuenta de Gastos Flexibles (FSA) como atención médica, propósito limitado y cuidado de dependientes. Nuestra biblioteca de beneficios de bienestar disponibles para ti y tus dependientes incluye una suscripción completa a Headspace, membresía de Gympass+ con acceso a gimnasios físicos, membresía de One Medical, servicios de asesoramiento con un Programa de Asistencia al Empleado y mucho más.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil