États-Unis
HEARTLAND BUSINESS SYSTEMS LLC
Venice.ai
Responsable technique, optimisation de l'inférence
États-Unis
Sheridan, Wyoming, United States
PythonC++RustGo
Traduction automatique. Consultez l’original.
À propos de nous
Venice est la première entreprise mondiale d'IA grand public, fondée sur les principes de confidentialité, de liberté d'expression et de souveraineté des utilisateurs.
Nous construisons la « Port City » de l'IA, un espace où des millions d'individus, d'applications tierces et d'agents IA se rencontrent, interagissent et accèdent à des ressources d'IA sophistiquées sur une base privée et permissive. Notre mission est de rendre l'intelligence artificielle accessible et utile au travail quotidien, en comblant le fossé entre la recherche de pointe et l'impact concret dans le monde réel.
Nous sommes une startup en évolution rapide où chaque membre de l'équipe est encouragé à avoir un impact concret. Notre culture est ancrée dans la curiosité, le sens des responsabilités, les principes éthiques, la philosophie et la collaboration, que nous concevions de meilleurs flux de travail IA, que nous soutenions notre communauté grandissante ou que nous façonnions l'avenir de l'interaction humain-IA.
Rejoindre Venice AI, c'est intégrer une équipe de bâtisseurs peu conventionnels qui croient en la rapidité d'exécution, en la livraison d'un produit grand public magnifique et hautement utile qui ne surveille pas les gens et ne censure pas leurs idées ou leurs questions, tout en conservant une longueur d'avance dans le monde en évolution rapide de l'intelligence artificielle agentique. Si vous êtes stimulé par les grandes idées, l'esprit entrepreneurial, l'autonomisation individuelle et l'opportunité d'aider à façonner une entreprise en pleine croissance dans le secteur le plus dynamique au monde, vous vous sentirez ici comme chez vous.
Pourquoi nous recrutons
Venice est la seule plateforme d'IA qui exécute l'inférence sans aucune rétention de données et sans aucun entraînement sur les entrées des utilisateurs. C'est une opportunité pour vous d'être à la pointe de l'IA axée sur la confidentialité, aux côtés d'une équipe unique et dédiée composée d'individus très autonomes. Ce rôle nécessite à la fois un travail opérationnel en tant que contributeur individuel et la gestion d'une petite équipe. Vous jouerez un rôle central dans la définition de la stratégie technique globale de Venice et dans la constitution d'une équipe exceptionnelle pour offrir des performances d'inférence optimales à grande échelle.
Vos missions
- Définir la stratégie technique de Venice en matière de performance d'inférence
- Recruter et diriger l'équipe d'optimisation de l'inférence chez Venice
- Optimiser l'infrastructure GPU de Venice sur une gamme d'architectures (par exemple, H200s, B300s)
- Améliorer la latence, le débit et le coût par jeton pour les charges de travail d'inférence LLM
- Construire des bancs d'essai reproductibles pour les moteurs d'inférence (par exemple, vLLM, SGLang) afin d'identifier le moteur, le schéma de quantification et la stratégie de parallélisme optimaux par charge de travail et par GPU SKU
- Collaborer avec notre système de routage d'inférence pour optimiser les algorithmes d'équilibrage de charge d'inférence multivariée
- Évaluer les techniques émergentes d'optimisation de l'inférence (noyaux CUDA/Triton personnalisés), les nouvelles variantes d'attention, les nouveaux schémas de quantification et les améliorations de la pile de compilation. Une expérience pratique du développement de noyaux est un atout majeur.
- Évaluer le matériel d'inférence émergent (FPGA, ASIC, silicium personnalisé) pour sa viabilité dans la pile technologique de Venice.
Votre profil
- 8+ années d'expérience en optimisation de performance ou en calcul haute performance (HPC), avec une connaissance approfondie de l'architecture GPU et de la programmation parallèle
- 5+ années d'expérience dans la direction d'équipes d'ingénierie
- Maîtrise de Python, Rust ou Go.
- Expérience pratique avec au moins un moteur d'inférence LLM en production (par exemple, vLLM, SGLang) fonctionnant à haut volume
- Expérience démontrée avec les techniques d'optimisation de l'inférence LLM : continuous batching, gestion du cache PagedAttention/KV, décodage spéculatif, quantification, graphes CUDA et torch.compile
- Maîtrise des compromis liés à la quantification, tant sur le plan qualitatif que quantitatif
- Expérience avec les stratégies d'inférence distribuée (parallélisme de tenseurs, parallélisme de pipeline, parallélisme MoE) dans des environnements multi-GPU et multi-nœuds
- Maîtrise du profilage GPU (Nsight Systems, Nsight Compute, profileur PyTorch) et une approche privilégiant la mesure avant l'optimisation
- Bonus : C++/CUDA
- Bonus : optimisation de l'inférence de modèles de diffusion/image, noyaux Triton personnalisés, contributions à des frameworks d'inférence open-source
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil