Estados Unidos
HEARTLAND BUSINESS SYSTEMS LLC
Venice.ai
Líder de Ingeniería, Optimización de Inferencia
Estados Unidos
Sheridan, Wyoming, United States
PythonC++RustGo
Traducción automática. Consulta el original.
Sobre nosotros
Venice es la empresa de IA de consumo líder en el mundo, construida sobre los principios de privacidad, libertad de expresión y soberanía del usuario.
Estamos construyendo la Ciudad Portuaria de la IA, donde millones de personas, aplicaciones de terceros y agentes de IA se reúnen, interactúan y acceden a recursos de IA sofisticados sobre una base privada y permisiva. Nuestra misión es hacer que la inteligencia artificial sea accesible y útil en el trabajo diario, cerrando la brecha entre la investigación de vanguardia y el impacto práctico en el mundo real.
Somos una startup de ritmo rápido donde se espera que cada miembro del equipo genere un impacto claro. Nuestra cultura se basa en la curiosidad, la responsabilidad, los principios éticos, la filosofía y la colaboración, ya sea que estemos diseñando mejores flujos de trabajo de IA, apoyando a nuestra creciente comunidad o dando forma al futuro de la interacción humano-IA.
Unirse a Venice AI significa unirse a un equipo de constructores poco ortodoxos que creen en moverse rápido, ofrecer un producto de consumo hermoso, de mercado masivo y altamente útil que no espía a las personas ni censura sus ideas y preguntas, y mantener una ventaja en el mundo en rápida evolución de la inteligencia artificial agentica. Si te motivan las grandes ideas, el espíritu emprendedor, el empoderamiento individual y la oportunidad de ayudar a dar forma a una empresa de rápido crecimiento en la industria más candente del mundo desde cero, por favor contáctanos. Te sentirás como en casa aquí.
Por qué estamos contratando
Venice es la única plataforma de IA que ejecuta inferencia con cero retención de datos y cero entrenamiento sobre las entradas del usuario. Esta es una oportunidad para que estés a la vanguardia de la IA centrada en la privacidad con un equipo único y dedicado de personas de alta capacidad a tu lado. Este rol requiere tanto trabajo práctico como contribuidor individual, así como la gestión de un equipo pequeño. Desempeñarás un papel fundamental, dando forma a la estrategia técnica general de Venice y reuniendo a un equipo excepcional para ofrecer un rendimiento de inferencia máximo a gran escala.
Qué harás
- Liderar la estrategia técnica de Venice para el rendimiento de inferencia
- Reclutar y dirigir el Equipo de Optimización de Inferencia en Venice
- Optimizar la infraestructura de GPU de Venice en una gama de arquitecturas (por ejemplo, H200s, B300s)
- Mejorar la latencia, el rendimiento y el coste por token para cargas de trabajo de inferencia de LLM
- Construir arneses de evaluación comparativa reproducibles en motores de inferencia (por ejemplo, vLLM, SGLang) para identificar el motor, el esquema de cuantización y la estrategia de paralelismo óptimos por carga de trabajo y SKU de GPU
- Trabajar con nuestro sistema de enrutamiento de inferencia para optimizar los algoritmos de equilibrio de carga de inferencia multivariante
- Evaluar técnicas emergentes de optimización de inferencia (kernels personalizados de CUDA/Triton), variantes novedosas de atención, nuevos esquemas de cuantización y mejoras en la pila de compilación. La experiencia práctica en desarrollo de kernels es una gran ventaja.
- Evaluar hardware de inferencia emergente (FPGA, ASIC, silicio personalizado) para su viabilidad en la pila de Venice.
Quién eres
- 8+ años en optimización de rendimiento o HPC, con un profundo conocimiento de la arquitectura de GPU y la programación paralela
- 5+ años de experiencia liderando equipos de ingeniería
- Dominio de Python, Rust o Go.
- Experiencia práctica con al menos un motor de inferencia de LLM de producción (por ejemplo, vLLM, SGLang) ejecutándose a gran volumen en producción
- Experiencia demostrada con técnicas de optimización de inferencia de LLM: procesamiento por lotes continuo, gestión de caché PagedAttention/KV, decodificación especulativa, cuantización, grafos de CUDA y torch.compile
- Fluidez con las compensaciones de cuantización, tanto cualitativas como cuantitativas
- Experiencia con estrategias de inferencia distribuida (paralelismo de tensores, paralelismo de tuberías, paralelismo MoE) en entornos multi-GPU y multi-nodo
- Fluidez con la creación de perfiles de GPU (Nsight Systems, Nsight Compute, perfilador de PyTorch) y una inclinación hacia medir antes de optimizar
- Bonus: C++/CUDA
- Bonus: optimización de inferencia de modelos de difusión/imagen, kernels personalizados de Triton, contribuciones a marcos de inferencia de código abierto
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil