Vereinigte Staaten
Nominal
Nominal
Staff Research Engineer, Agent Evals & Post-training
Vereinigte Staaten
London, England, United Kingdom · Los Angeles, California, United States · San Francisco, California, United States · New York, New York, United States · Austin, Texas, United States · Seattle, Washington, United States
Automatische Übersetzung. Prüfe das Original.
ÜBER NOMINAL
Unsere Mission ist es, die Entwicklung neuer Hardware zu beschleunigen. Die vernetzte Test- und Betriebsplattform von Nominal treibt die weltweit fortschrittlichsten Hardwareprogramme und ambitioniertesten Start-ups an, von Raumfahrzeugen, Rennwagen und autonomen Fahrzeugen bis hin zu Verteidigungs- und Energieprogrammen der nächsten Generation. Zu unseren Kunden gehören Anduril, Shield AI, Hermeus, Albedo, Shinkei und Pratt Miller Motorsports sowie Programme der U.S. Navy und U.S. Air Force. Jetzt erweitern wir unser Angebot über den gesamten Hardwarelebenszyklus hinweg und bauen die Grundlage, KI-native Anwendungen und Agenten, die die Arbeit von Innovatoren beschleunigen und das Mögliche verändern.
Wir werden von Sequoia, General Catalyst, Founders Fund, Lux Capital und Lightspeed unterstützt, und unser Team kommt von SpaceX, Apple, Palantir, Anduril, Applied Intuition und anderen führenden Unternehmen.
ÜBER HARDWARE INTELLIGENCE
Wir sind das Team hinter den Agenten, KI-nativen Anwendungen und MCP von Nominal sowie dessen zukunftsweisenden KI-Investitionen. Unsere Mission ist es, die Engpässe im Hardwarelebenszyklus mit KI zu beseitigen. Unsere Agenten arbeiten mit der physischen Realität, von Hochgeschwindigkeitstelemetrie und Testkampagnen bis hin zu Designs und Simulationen, wobei reale Testergebnisse die Ground Truth sind, an der ihre Arbeit gemessen wird. Wir glauben, dass meinungsstarke KI, die für die reale Arbeit von Hardwareprogrammen entwickelt wurde, die Art und Weise verändern wird, wie die Welt konstruiert.
Wir sind kollaborativ, iterativ und eigeninitiativ, menschenzentriert und kundenorientiert. Wir entwickeln täglich mit den neuesten KI-Tools, und da sich diese Tools ständig ändern, tun wir das auch: Wir bleiben neugierig und suchen immer nach dem besseren Weg. Unser Team umfasst Data Science und ML, verteilte Systeme, Suche und Wissenssysteme, und wir beschäftigen uns intensiv damit, wie Agenten für die Ingenieure, die sich auf sie verlassen, wirklich nützlich sein können.
DIE ROLLE
Als Staff Research Engineer, der Agentenevaluierungen und Post-Training unterstützt, definieren Sie, wie Nominal seine Agenten misst – für Kunden und für uns selbst – und bauen den Weg von der Evaluierung zu Post-Training-Modellen, wenn die Hardware dies erfordert. Evaluierungen stehen an erster Stelle; Post-Training folgt, wenn Air-Gapped-Deployment oder Kosten die richtige Investition darstellen.
💼 WAS SIE TUN WERDEN: *
- Erstellen von Evaluierungssuiten für unsere Agenten, die MCP-Toolschicht und unseren internen Unternehmensagenten, basierend auf realen Hardwareaufgaben. *
- Entwickeln neuer Benchmarks für Agenten, die mit physischen Ingenieurdaten arbeiten, wo heute keine existieren. *
- Benchmarking unserer Agenten gegen Frontier-Agenten unter Verwendung unseres MCP und Aufzeigen, wo und warum unsere gewinnen. *
- Aufbau der Evaluierungsinfrastruktur: Datensätze, modellbasierte und menschliche Bewerter sowie Regressionsprüfungen in CI. *
- Umwandlung von Evaluierungen in Belohnungssignale und Trainingsdaten, und Leitung von Post-Training (Fine-Tuning, RL, Destillation), wenn wir Modelle benötigen, die wir überall ausführen können, einschließlich Air-Gapped-Umgebungen. *
- Festlegen der Strategie von Nominal für Messung und Modellverbesserung in Zusammenarbeit mit Hardwareexperten, um zu definieren, was „korrekt“ bedeutet.
🚀 WAS SIE MITBRINGEN: *
- 8+ Jahre Erfahrung im ML Engineering oder in der Forschung, einschließlich Evaluierungen oder Post-Training-Arbeiten, die Sie in der Produktion geleitet haben. *
- Statistische Strenge: Sie entwerfen Evaluierungen, die Sie nicht täuschen, und Sie wissen, wann ein Unterschied real ist. *
- Tiefgreifende Erfahrung in der Evaluierung von LLM oder Agentensystemen, einschließlich modellbasierter Evaluierungen und deren Grenzen. *
- Praktische Erfahrung im Post-Training: Fine-Tuning, RL aus Feedback oder Destillation bei realen Aufgaben. *
- Das Urteilsvermögen zu wissen, wann man messen, wann man trainieren und wann ein besserer Prompt oder ein besseres Tool die Antwort ist. *
- Eine Erfolgsbilanz bei der Festlegung der technischen Ausrichtung eines Teams und der Anhebung des Niveaus für die Ingenieure um Sie herum. *
- Sie arbeiten täglich mit modernen KI-Codierungsagenten (Claude Code, Cursor, Codex) und bleiben neugierig und offen für bessere Arbeitsweisen. Die Werkzeuge ändern sich ständig, und wir uns auch.
⚡️ NICE TO HAVE: *
- Sie haben Evaluierungen oder Post-Training in einem Frontier Lab oder einem KI-nativen Unternehmen entwickelt. *
- Sie haben Benchmarks oder Evaluierungsmethoden veröffentlicht, die andere verwenden. *
- Sie haben Open-Weight-Modelle in eingeschränkten, On-Premise- oder Air-Gapped-Umgebungen trainiert oder bereitgestellt. *
- Sie haben im Test-, Zuverlässigkeits- oder Verifikationsingenieurwesen für physische Systeme gearbeitet.
LEISTUNGEN/VORTEILE *
- 🏥 100% Abdeckung von Kranken-, Zahn- und Augenversicherungen *
- 🏖️ Unbegrenzte PTO und Krankheitsurlaub *
- 🍽️ Kostenloses Mittagessen, Snacks und Kaffee *
- 🚀 Stipendium für berufliche Weiterbildung *
- ✈️ Jährlicher Firmenrückzug
Alle qualifizierten Bewerber erhalten eine Anstellungsprüfung ohne Rücksicht auf Rasse, Hautfarbe, Religion, Geschlecht, sexuelle Orientierung, Geschlechtsidentität oder nationale Herkunft.
ITAR-Anforderungen
Um den Exportbestimmungen der US-Regierung zu entsprechen, muss der Bewerber (i) ein US-Bürger oder Staatsbürger sein, (ii) ein rechtmäßiger, ständiger Einwohner der USA (auch bekannt als Greencard-Inhaber), (iii) ein Flüchtling gemäß 8 U.S.C. § 1157 oder (iv) ein Asylsuchender gemäß 8 U.S.C. § 1158 sein oder die erforderlichen Genehmigungen vom U.S. Department of State erhalten können. Erfahren Sie mehr über ITAR hier pmddtc.state.gov/?id=ddtc_kb_article_page&sys_id=24d528fddbfc930044f9ff621f961987.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen