Vereinigte Staaten
Siemens
SambaNova
Performance Architect für Inferenzsysteme
Vereinigte Staaten
San Jose, California, United States
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
SambaNova ist führend im Bereich der KI-Infrastruktur der nächsten Generation und liefert eine full-stack-Inferenzplattform für Kunden weltweit. Das Herzstück der Technologie von SambaNova ist die RDU (Reconfigurable Dataflow Unit) – ein Chip, der auf einer Datenflussarchitektur basiert und nicht auf dem traditionellen GPU-Modell. Die Dekodierungsleistung ist besonders stark bei agentenbasierten Workloads wie Multi-Turn-Agenten, Code-Generierung und langlebigen Anwendungen. RDUs werden in SambaRack integriert, einer Hardware auf Rack-Ebene, die es Kunden ermöglicht, modernste Modelle mit besserer Leistung, höherer Energieeffizienz und schnellerer Wertschöpfung bereitzustellen.
Über das Team
Das Team für Inferenzsystem-Performance untersucht, wie schnell die Systeme von SambaNova große Sprachmodelle bedienen können und was dafür erforderlich ist. Wir erfassen echten Produktions-Traffic, führen präzise Benchmarks durch, modellieren und simulieren Konfigurationen, die noch nicht existieren, und erstellen Profile der verteilten Serving-Pipeline über Host, Beschleuniger und Fabric hinweg. Unsere Arbeit fließt in die Optimierung des Servings sowie in die Hardware- und Kapazitätsplanung für die nächste Generation ein. Wir arbeiten eng mit den Bereichen Modelloptimierung, Systeme, Hardware und Produkt zusammen, und das gesamte Unternehmen verlässt sich auf unsere Daten.
Über die Rolle
Sie fungieren als Architekt für die End-to-End-Inferenzleistung: Sie analysieren, wie sich eine Anfrage durch Tokenisierung, Prefill, Dekodierung und die dazwischenliegende Fabric bewegt und wie eine Bereitstellung im Hinblick auf Kunden-SLOs dimensioniert wird. Die Arbeit umfasst zwei miteinander verknüpfte Säulen. Die erste ist die reproduzierbare Workload-Erfassung und das Benchmarking, bei dem abspielbare Repräsentationen von echtem und zunehmend agentenbasiertem Traffic erstellt werden, damit die Messungen die Produktion widerspiegeln und nicht nur ein naives Lastskript. Die zweite Säule ist die Performance-Modellierung und -Simulation, bei der Messungen in eine „Was-wäre-wenn“-Fähigkeit für Konfigurationen und Hardware umgewandelt werden, die noch nicht existieren.
Das Neuland, das Sie mitgestalten werden, ist die heterogene, disaggregierte Inferenz mit GPU beim Prefill und der RDU bei der Dekodierung. Dies eröffnet komplexe Herausforderungen in den Bereichen Netzwerk, Speicher, Prompt-Caching und datenbewegungsbedingte Tail-Latenz. Die Performance von Inferenzsystemen ist ein junges Feld, und die meisten Antworten müssen erst noch gefunden werden. Sie werden daher Zeit mit komplexen Problemen verbringen, für die es noch keine etablierten Lösungen gibt, und die technische Richtung vorgeben, auf der andere aufbauen.
Verantwortlichkeiten
- Definition und Steuerung der technischen Strategie für die Performance von Inferenzsystemen, einschließlich Workload-Erfassung, Benchmarking, Modellierung und Simulation, bei gleichzeitiger Entwicklung einer Architektur, die viele potenzielle Zukunftsszenarien ermöglicht
- Aufbau der Fähigkeiten zur Workload-Erfassung und agentenbasierten Benchmarking – Erfassung repräsentativer Produktionsdaten und Durchsetzung einer disziplinierten Ergebnisanalyse, um künstliche Konflikte oder irreführend hohe Cache-Trefferraten zu identifizieren, die im realen Einsatz nicht vorkommen
- Verantwortung für die Performance-Modellierung und Simulationspraxis – Erstellung von Modellen, die vorhersagen, wie sich eine Konfigurationsänderung auf den Output auswirkt, um die Kapazitätsplanung gemäß Kunden-SLOs sowie die Planung der nächsten System- und Hardwaregeneration zu unterstützen
- Schließung der Lücke beim End-to-End-Profiling – Entwicklung von Tools, die präzise, umsetzbare Profile einer verteilten Inferenz-Pipeline erstellen, damit Engpässe über Host, Beschleuniger und Fabric hinweg lokalisiert werden können
- Dienen als leitende technische Stimme in den Bereichen Modelloptimierung, Systeme, Hardware und Produkt, wobei Sie mehrere technische Aktivitäten und Teams miteinander verknüpfen und Kompromisse zwischen Zuverlässigkeit, Skalierbarkeit, Betriebskosten und Benutzerfreundlichkeit abwägen
- Agieren als Ressource für das gesamte Unternehmen, einschließlich der Repräsentation der Performance-Story von SambaNova gegenüber Kunden und Partnern
- Mentoring und Multiplikation durch die Steigerung der Fähigkeiten von Principal- und Senior-Ingenieuren sowie Aufbau von Systemen, Tools und Mustern, die die Produktivität aller steigern
- Vorantreiben der Lösung komplexester, neuartiger Herausforderungen, die organisatorische Grenzen überschreiten oder für die es in diesem Bereich noch keine etablierte Antwort gibt
Erforderliche Qualifikationen
- Bachelor-Abschluss in Informatik, Computertechnik oder einem verwandten Fachbereich
- 12+ Jahre Erfahrung im Performance Engineering mit nachgewiesener technischer Führungserfahrung bei großen, komplexen Systemen
- Fundierte Expertise in der End-to-End-Performance-Analyse verteilter Systeme mit vielen beweglichen Teilen und die Fähigkeit, Engpässe zu lokalisieren, die andere nicht finden
- Nachgewiesene Beherrschung realistischer Workload-Generierung und -Simulation sowie Performance-Modellierung, einschließlich der Kalibrierung von Modellen anhand realer, variabler Workloads
- Nachgewiesene Fähigkeit, sich in unbekannte Bereiche einzuarbeiten und grundlegende Performance-Methoden mit übertragbarer Disziplin-Expertise anzuwenden
- Fähigkeit, funktionsübergreifende Initiativen zu leiten, Senior-Ingenieure zu betreuen und die organisatorische Ausrichtung zu beeinflussen
- Erfahrung in der glaubwürdigen Repräsentation einer Organisation gegenüber Kunden und Partnern
- Erfolgsbilanz bei der eigenständigen Definition und Umsetzung hochkomplexer, mehrdeutiger Aufgaben mit signifikantem Einfluss auf Produkte oder Roadmaps
Bevorzugte Qualifikationen
- Master-Abschluss oder Promotion in Informatik, Computertechnik oder einem verwandten Fachbereich
- Direkte Erfahrung mit LLM-Inferenz-Serving – Continuous Batching, Prompt/KV-Caching, Prefill/Decode-Disaggregation, Tail-Latency-SLOs
- Vertrautheit mit Inferenz-Simulations-Frameworks oder agentenbasierten Benchmarking-Bemühungen
- Eine öffentliche technische Stimme – Vorträge, Publikationen oder Präsenz in der Community zum Thema System-Performance
Grundgehaltsspanne
Grundgehaltsspanne $245,000—$325,000 USD
Einreichungsrichtlinien
Bitte beachten Sie, dass Sie für jede Position bei SambaNova Systems, für die Sie sich qualifiziert fühlen, ein Bewerbungsformular einreichen müssen, um als Bewerber berücksichtigt zu werden.
EEO-Richtlinie
SambaNova Systems ist ein Arbeitgeber, der Chancengleichheit fördert und Affirmative Action betreibt. Alle qualifizierten Bewerber werden unabhängig von Alter (40 Jahre und älter), Hautfarbe, Behinderung, Geschlechtsidentität, genetischen Informationen, Familienstand, Militär- oder Veteranenstatus, nationaler Herkunft/Abstammung, Rasse, Religion, Weltanschauung, Geschlecht (einschließlich Schwangerschaft, Entbindung, Stillzeit), sexueller Orientierung und jedem anderen nach geltendem Bundes-, Landes- oder Lokalrecht geschützten Status bei der Einstellung berücksichtigt.
Zusammenfassung der Leistungen für Vollzeitstellen in den USA
SambaNova bietet ein wettbewerbsfähiges Gesamtvergütungspaket, das das Grundgehalt sowie Aktienoptionen und Sozialleistungen umfasst. Wir übernehmen 95% der Versicherungsprämien für die medizinische Krankenversicherung der Mitarbeiter und 77% der Prämien für Angehörige und bieten ein Health Savings Account (HSA) mit Arbeitgeberbeitrag an. Darüber hinaus bieten wir Zahn-, Augen-, Kurz- und Langzeit-Berufsunfähigkeitsversicherungen, eine Basislebensversicherung, eine freiwillige Lebensversicherung sowie AD&D-Versicherungspläne zusätzlich zu Optionen für Flexible Spending Accounts (FSA) wie Gesundheitsfürsorge, zweckgebundene Konten und Pflege für Angehörige. Unser Angebot an Wohlfühlleistungen für Sie und Ihre Angehörigen umfasst ein vollständiges Abonnement für Headspace, eine Gympass+-Mitgliedschaft mit Zugang zu Fitnessstudios, eine One Medical-Mitgliedschaft, Beratungsdienste über ein Mitarbeiterunterstützungsprogramm und vieles mehr.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen