Vereinigte Staaten
Roku
ServiceNow
Senior Software Engineer, Agent Eval Platform
Vereinigte Staaten
Mountain View, California, United States
PythonGo
Automatische Übersetzung. Prüfe das Original.
Unternehmensbeschreibung
Wer wir sind
Moveworks: die Agentic AI Assistant-Plattform, die die gesamte Belegschaft stärkt. Unsere Plattform ermöglicht es Mitarbeitern, über natürliche Sprache mit all ihren Geschäftssystemen zu kommunizieren, um schnell Antworten zu finden und Aufgaben zu automatisieren. Angetrieben von den weltweit fortschrittlichsten LLMs, unseren proprietären Modellen und einer hochentwickelten Agentic AI-Plattform, verändern wir die Art und Weise, wie Arbeit erledigt wird, indem wir es der KI ermöglichen, die Initiative zu ergreifen, komplexe Arbeitsabläufe zu optimieren und kontinuierlich zu lernen und sich anzupassen.
Moveworks genießt das Vertrauen von über 5.5 Millionen Mitarbeitern bei mehr als 350 der weltweit größten Unternehmen, darunter 10% der Fortune 500, um alltägliche Aufgaben zu automatisieren und Geschäftsprozesse zu optimieren. Moveworks wurde auf den Listen Forbes Cloud 100 und AI 50 geführt, als eines der 2025 Most Innovative Companies von Fast Company ausgezeichnet und erhielt von Inc. die Auszeichnung Best in Business in der Kategorie Best in Innovation. Zudem wurde Moveworks als Microsoft 2025 Partner of the Year anerkannt und erhielt im Jahr 2024 den AI Breakthrough Award.
Im Dezember 2025 wurde Moveworks von ServiceNow übernommen, was einen entscheidenden Meilenstein auf unserem Weg darstellt, einen zentralen Zugangspunkt für alle Geschäftssysteme zu schaffen. Durch die Kombination der führenden Workflow-Automatisierung von ServiceNow mit der Reasoning Engine und den Fähigkeiten zur Verarbeitung natürlicher Sprache von Moveworks liefern wir die KI-Plattform für jede Person und jeden Workflow. Entwickelt, um über einfache Zusammenfassungen hinauszugehen und einen bedeutenden geschäftlichen Mehrwert zu erzielen. Gemeinsam agiert unsere KI über Unternehmenssysteme hinweg, um Konversationen in abgeschlossene Arbeit zu verwandeln.
Wenn Sie unserem Team beitreten, stehen Sie an der Spitze der KI-Transformation, unterstützt durch die globale Reichweite von ServiceNow und die Agilität eines wachstumsstarken Unternehmens. Wir suchen erstklassige Talente, die uns dabei helfen, Agentic AI jedem Mitarbeiter in jedem Bereich des Unternehmens zugänglich zu machen. Kommen Sie zu uns!
Stellenbeschreibung
Die Rolle
Die KI-Agenten von Moveworks generieren nicht nur Text – sie handeln. Sie planen, rufen Tools auf und ändern den tatsächlichen Status in Unternehmenssystemen im Namen von 5.5 Millionen Mitarbeitern. Das macht das zentrale Problem unseres Teams zu einer ungewöhnlich schwierigen Messaufgabe: Wie bewertet man präzise, was ein Agent getan hat – über eine mehrstufige Trajektorie durch eine Welt, die er verändert hat –, damit die Bewertung dazu dienen kann, ihn zu verbessern?
Dieses Signal ist das, wofür diese Rolle verantwortlich ist. Sie bauen die Bewertungsebene unserer Agent-Evaluierungsplattform auf: die Rubriken, die Prüfinstanzen, die Kalibrierung anhand menschlicher Labels und die Methodik, die einer Bewertung Bedeutung verleiht. Und der Nutzen ist größer als ein bloßes Zeugnis – ein Prüfer, der gut genug ist, um eine Trajektorie zu bewerten, ist gut genug, um als Trainingsgrundlage zu dienen. Dasselbe kalibrierte Signal, das erklärt, warum ein Agent versagt hat, wird zum Belohnungssignal, das zukünftige Fehler verhindert.
Dies ist keine Rolle im Bereich Pretraining und auch keine reine Testrolle. Es handelt sich um angewandtes ML an einem Punkt, an dem die Methodik noch nicht gefestigt ist: LLMs-Bewertung von LLMs ist ein offenes Forschungsproblem, und wir arbeiten daran mit Agenten, die echte, irreversible Aktionen in zustandsbehafteten, mandantenfähigen Unternehmensumgebungen ausführen.
ServiceNow: Alles begann im sonnigen San Diego, Kalifornien, im Jahr 2004, als ein visionärer Ingenieur, Fred Luddy, das Potenzial erkannte, die Art und Weise, wie wir arbeiten, zu verändern. Heute ist ServiceNow ein weltweit führender Marktteilnehmer, der innovative, KI-gestützte Technologie für über 8,100 Kunden bereitstellt, darunter 85% der Fortune 500®. Unsere intelligente, cloudbasierte Plattform verbindet Menschen, Systeme und Prozesse nahtlos miteinander, um Unternehmen dabei zu unterstützen, intelligentere, schnellere und bessere Arbeitsweisen zu finden. Aber das ist erst der Anfang unserer Reise. Begleiten Sie uns bei unserem Ziel, die Welt für alle besser arbeiten zu lassen.
Das erwartet Sie in dieser Rolle
Wir stellen in drei Bereichen ein. Sie werden sich auf einen konzentrieren und die anderen berühren; welcher das ist, besprechen wir mit Ihnen, anstatt Sie in eine feste Schublade zu stecken.
Evaluierungs-Orchestrierung in großem Maßstab
- Die Laufzeitumgebung, die Multi-Turn-Agent-Szenarien von Anfang bis Ende ausführt – Aufbau der Umgebung und des Benutzersimulators, Steuerung der Benutzer↔Agent↔Welt-Schleife, Sammeln von Transkripten, Traces und Endstatus, Ausführen von Validatoren und Scoring, Abbau
- Planung, Wiederholungsversuche, Ausführung mit hoher Nebenläufigkeit und Laufisolierung bei Produktionsdatensatzgrößen
- Versionierte Spezifikationen, Datensätze und Berichte, wobei der Vergleich zwischen verschiedenen Durchläufen eine grundlegende Operation darstellt
- Konsolidierung von Evaluierungen, die heute als einmalige Workflows laufen, auf einem einzigen Orchestrierungsdienst – eine Quelle der Wahrheit, ein Ort für Planung und Wiederholungsversuche
- Etablierung einer Zuverlässigkeitsuntergrenze und eines SLO für das Test-Framework selbst
- Ermöglichung von Self-Service, sodass jedes Team eine Evaluierung ohne maßgeschneiderte Integration durchführen kann
Agent-Beobachtbarkeit und Tracing
- Federführung beim Übergang zu OpenTelemetry-nativer Beobachtbarkeit für die Agent-Plattform, wobei die parallelen, dienstspezifischen Protokollierungs-, Korrelations- und Schwärzungsmechanismen ersetzt werden, die heute im Einsatz sind
- Das Span-Datenmodell für Agent-Trajektorien – Prompts, Tool-Aufrufe, Plan-Updates, Ergebnisse –, sodass eine Trajektorie abfragbar ist und nicht manuell aus Protokolldateien rekonstruiert werden muss
- Trace-Kontext-Propagierung über asynchrone Grenzen hinweg und Sitzungen, die über Minuten oder Stunden aktiv bleiben
- Sicherstellen, dass vollständige Prompts und Vervollständigungen die Pipeline intakt überstehen und dass Evaluierungsverkehr nicht seine eigenen Daten verunreinigt
- Fehlerzuordnung und Diffing zwischen Durchläufen: Welche Komponente ist tatsächlich ausgefallen und was hat sich seit dem letzten erfolgreichen Durchlauf geändert?
- Die Debug-Oberfläche, die Support- und Framework-Ingenieure nutzen, sowie der Tracing-Vertrag mit dem Team, das den Agenten baut
Zustandsbehaftete Simulation
- Die Simulationsumgebung selbst: zustandsbehaftete Fakes der Unternehmenssysteme, die Agenten aufrufen – ITSM, HR, Wissensdatenbanken, Inventar –, unterstützt durch einen echten Datenspeicher, der Änderungen während eines Durchlaufs beibehält, sodass ein erstelltes Ticket für ein späteres Lesen sichtbar ist
- Dateneinspeisung pro Durchlauf und programmatischer Auf- und Abbau, sodass jeder Durchlauf hermetisch und wiederholbar ist
- LLM-gesteuerte Benutzersimulatoren für offene Personas und skriptbasierte Zustandsautomaten-Simulatoren für deterministische Abläufe
- Vertragstests von Mocks gegen echte API-Schemata in CI, damit die Simulationsgenauigkeit nicht schleichend abweicht, wenn sich Anbieter-APIs ändern
- Vor uns: isolierte Sandbox-Umgebungen, die die Konfiguration, Identität, Suchinhalte und Berechtigungen reproduzieren, die ein Agent tatsächlich liest – bereitgestellt aus einer identischen Basislinie und bei jedem Durchlauf abgebaut
Und über alle drei Bereiche hinweg: das Fundament dafür legen, Evaluierungssignale zur Optimierung des Agenten zu nutzen, nicht nur zu seiner Messung.
Qualifikationen
Um in dieser Rolle erfolgreich zu sein, verfügen Sie über:
Erfahrung in mindestens 3 der folgenden Bereiche:
- Verteilte Systeme: Idempotenz, Zustellungsgarantien, Isolierung und – hier ungewöhnlich zentral – Determinismus und Reproduzierbarkeit
- Orchestrierungs- und Workflow-Laufzeiten: DAG-Ausführung, Planung, Wiederholungsversuche, Backfills, hochgradig nebenläufige Job-Systeme (Temporal, Airflow, Argo oder etwas, das Sie selbst gebaut haben)
- Interna der Beobachtbarkeit als Entwickler, nicht nur als Nutzer: OpenTelemetry SDKs und Kollektoren, semantische Konventionen, Span-Kontext-Propagierung, Trace-Daten mit hoher Kardinalität
- Nebenläufige und asynchrone Programmierung: Python asyncio, Go Concurrency, strukturierte Abbruchmechanismen
- Datenintensive Pipelines: Ingest mit hohem Volumen, Schema-Evolution, Kompromisse bei Sampling und Aufbewahrung
- gRPC/protobuf-Dienst- und Schnittstellendesign
Erforderlich
- 5+ Jahre Erfahrung in der Entwicklung von produktiven backend- oder Infrastruktursystemen
- Starke Kenntnisse in Python oder Go (idealerweise beides)
- Erfahrung im Entwurf und Betrieb von Systemen, die echten Datenverkehr in großem Maßstab bewältigen
- Fähigkeit, ein nicht-deterministisches System messbar zu machen. Sie benötigen keinen ML-Hintergrund – aber es sollte Sie interessieren, unscharfes Agentenverhalten in ein Signal zu verwandeln, auf dessen Basis Ingenieure bereit sind, Releases freizugeben
- Umgang mit Mehrdeutigkeit; dies sind neuartige Probleme ohne Lehrbuchlösungen
Für Positionen an diesem Standort bieten wir ein Grundgehalt von $161,300-274,200, zuzüglich Aktienoptionen (sofern zutreffend), variabler/leistungsbezogener Vergütung und Sozialleistungen. Vertriebspositionen bieten in der Regel eine wettbewerbsfähige Struktur für die Zielvergütung (On Target Earnings, OTE). Bitte beachten Sie, dass das angegebene Grundgehalt ein Richtwert ist und die individuelle Gesamtvergütung auf Faktoren wie Qualifikationen, Qualifikationsniveau, Kompetenzen und Arbeitsort variieren kann. Wir bieten außerdem Gesundheitspläne, einschließlich flexibler Ausgabenkonten, einen 401(k)-Plan mit Unternehmenszuschuss, ESPP, Spendenabgleich, einen Plan für flexible Freizeit und Programme für Familienurlaub.
Die Vergütung basiert auf dem geografischen Standort, an dem sich die Stelle befindet, und kann sich je nach Arbeitsort ändern.
Zusätzliche Informationen
Arbeitsmodelle
Wir gehen flexibel und vertrauensvoll mit unserer verteilten Arbeitswelt um. Arbeitsmodelle (flexibel, remote oder im Büro erforderlich) sind Kategorien, die ServiceNow-Mitarbeitern je nach Art ihrer Arbeit und ihrem zugewiesenen Arbeitsort zugewiesen werden. Erfahren Sie hier mehr. Um die Berechtigung für ein Arbeitsmodell zu bestimmen, kann ServiceNow die Entfernung zwischen Ihrem Hauptwohnsitz und dem nächstgelegenen ServiceNow-Büro mithilfe eines Drittanbieters bestätigen.
Chancengleichheit
ServiceNow ist ein Arbeitgeber, der Chancengleichheit fördert. Alle qualifizierten Bewerber werden unabhängig von Rasse, Hautfarbe, Weltanschauung, Religion, Geschlecht, sexueller Orientierung, nationaler Herkunft oder Nationalität, Abstammung, Alter, Behinderung, Geschlechtsidentität oder -ausdruck, Familienstand, Veteranenstatus oder einer anderen gesetzlich geschützten Kategorie für eine Anstellung in Betracht gezogen. Darüber hinaus werden alle qualifizierten Bewerber mit Vorstrafen gemäß den gesetzlichen Bestimmungen für eine Anstellung in Betracht gezogen.
Angemessene Vorkehrungen
Wir bemühen uns, ein zugängliches und integratives Erlebnis für alle Kandidaten zu schaffen. Wenn Sie angemessene Vorkehrungen benötigen, um einen Teil des Bewerbungsprozesses abzuschließen, oder wenn Sie diese Online-Bewerbung nicht nutzen können und eine alternative Methode zur Bewerbung benötigen, kontaktieren Sie bitte [email protected] für Unterstützung.
Exportkontrollvorschriften
Für Positionen, die Zugang zu kontrollierter Technologie erfordern, die Exportkontrollvorschriften unterliegt, einschließlich der U.S. Export Administration Regulations (EAR), kann ServiceNow verpflichtet sein, für bestimmte Personen eine Exportkontrollgenehmigung von Regierungsbehörden einzuholen. Jede Anstellung steht unter dem Vorbehalt, dass ServiceNow alle Exportlizenzen oder sonstigen Genehmigungen erhält, die von den zuständigen Exportkontrollbehörden verlangt werden könnten.
Von Fortune. ©2025 Fortune Media IP Limited. Alle Rechte vorbehalten. Unter Lizenz verwendet.
Mitarbeitertyp: Regulär
Region: AMS - Nordamerika und Kanada
Arbeitsmodell: Präsenzpflicht im Büro
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellenWeiter entdecken
Redwood Materials
CoreWeave
