HEARTLAND BUSINESS SYSTEMS LLC
Venice.ai
Engineering Lead, Inference Optimization
Über uns
Venice ist das weltweit führende KI-Unternehmen für Endverbraucher, das auf den Prinzipien von Privatsphäre, Meinungsfreiheit und Souveränität der Nutzer basiert.
Wir bauen die „Port City of AI“, in der Millionen von Einzelpersonen, Drittanbieter-Apps und KI-Agenten zusammenkommen, interagieren und auf hochentwickelte KI-Ressourcen auf einer privaten und freiheitlichen Grundlage zugreifen können. Unsere Mission ist es, künstliche Intelligenz für die tägliche Arbeit zugänglich und nützlich zu machen – und damit die Lücke zwischen Spitzenforschung und praktischem Nutzen in der realen Welt zu schließen.
Wir sind ein schnell wachsendes Startup, bei dem von jedem Teammitglied erwartet wird, einen klaren Beitrag zu leisten. Unsere Kultur ist geprägt von Neugier, Eigenverantwortung, ethischen Prinzipien, Philosophie und Zusammenarbeit – egal, ob wir bessere KI-Workflows entwerfen, unsere wachsende Community unterstützen oder die Zukunft der Mensch-KI-Interaktion gestalten.
Wenn Sie bei Venice AI einsteigen, werden Sie Teil eines Teams aus unkonventionellen Entwicklern, die an schnelles Handeln glauben, ein ästhetisches, massentaugliches und äußerst nützliches Verbraucherprodukt liefern, das Menschen nicht ausspioniert oder ihre Ideen und Fragen zensiert, und die in der sich schnell entwickelnden Welt der agentischen maschinellen Intelligenz die Nase vorn behalten. Wenn Sie sich von großen Ideen, Unternehmergeist, individueller Selbstbestimmung und der Möglichkeit begeistern lassen, ein schnell wachsendes Unternehmen in der spannendsten Branche der Welt von Grund auf mitzugestalten, dann melden Sie sich bei uns. Sie werden sich hier wie zu Hause fühlen.
Warum wir einstellen
Venice ist die einzige KI-Plattform, die Inferenz ohne Datenspeicherung und ohne Training mit Nutzereingaben durchführt. Dies ist Ihre Chance, an der vordersten Front der privatsphärefokussierten KI zu arbeiten, unterstützt von einem einzigartigen und engagierten Team aus hochgradig eigenverantwortlichen Persönlichkeiten. Diese Rolle erfordert sowohl praktische Arbeit als Individual Contributor als auch die Leitung eines kleinen Teams. Sie werden eine zentrale Rolle spielen, die übergeordnete technische Strategie von Venice gestalten und ein außergewöhnliches Team zusammenstellen, um Spitzenleistung bei der Inferenz in großem Maßstab zu liefern.
Ihre Aufgaben
- Verantwortung für die technische Strategie von Venice im Bereich Inferenz-Performance
- Rekrutierung und Leitung des Inference Optimization Teams bei Venice
- Optimierung der GPU-Infrastruktur von Venice über eine Reihe von Architekturen hinweg (z. B. H200s, B300s)
- Verbesserung von Latenz, Durchsatz und Kosten pro Token für LLM-Inferenz-Workloads
- Aufbau reproduzierbarer Benchmarking-Umgebungen für Inferenz-Engines (z. B. vLLM, SGLang), um die optimale Engine, das Quantisierungsschema und die Parallelisierungsstrategie pro Workload und GPU-SKU zu identifizieren
- Zusammenarbeit mit unserem Inferenz-Routing-System zur Optimierung von Algorithmen für das multivariate Inferenz-Load-Balancing
- Evaluierung neuer Techniken zur Inferenzoptimierung (benutzerdefinierte CUDA/Triton-Kernel), neuartiger Attention-Varianten, neuer Quantisierungsschemata und Verbesserungen des Compilation-Stacks. Praktische Erfahrung in der Kernel-Entwicklung ist ein großes Plus.
- Evaluierung neuer Inferenz-Hardware (FPGAs, ASICs, kundenspezifische Silizium-Chips) auf ihre Eignung für den Tech-Stack von Venice.
Ihr Profil
- 8+ Jahre Erfahrung in Performance-Optimierung oder HPC, mit fundiertem Wissen über GPU-Architekturen und parallele Programmierung
- 5+ Jahre Erfahrung in der Leitung von Engineering-Teams
- Fundierte Kenntnisse in Python, Rust oder Go.
- Praktische Erfahrung mit mindestens einer produktiven LLM-Inferenz-Engine (z. B. vLLM, SGLang), die in großem Umfang im Einsatz ist
- Nachgewiesene Erfahrung mit Optimierungstechniken für LLM-Inferenz: Continuous Batching, PagedAttention/KV-Cache-Management, Speculative Decoding, Quantisierung, CUDA-Graphen und torch.compile
- Sicherer Umgang mit den qualitativen und quantitativen Kompromissen bei der Quantisierung
- Erfahrung mit Strategien für verteilte Inferenz (Tensor-Parallelität, Pipeline-Parallelität, MoE-Parallelität) in Multi-GPU- und Multi-Node-Umgebungen
- Sicherer Umgang mit GPU-Profiling (Nsight Systems, Nsight Compute, PyTorch Profiler) und eine Arbeitsweise, die auf Messungen vor der Optimierung basiert
- Bonus: C++/CUDA
- Bonus: Optimierung der Inferenz von Diffusions-/Bildmodellen, benutzerdefinierte Triton-Kernel, Beiträge zu Open-Source-Inferenz-Frameworks
