Vereinigte Staaten
Siemens
Bain & Company
AI Engineering Lead, Evals and Systems Integration
Vereinigte Staaten
Warsaw, Masovian Voivodeship, Poland · London, England, United Kingdom · Chicago, Illinois, United States · Boston, Massachusetts, United States · São Paulo, Brazil
Python
Automatische Übersetzung. Prüfe das Original.
BESCHREIBUNG & ANFORDERUNGEN
Was uns zu einem großartigen Arbeitsplatz macht
Wir sind stolz darauf, regelmäßig als einer der weltweit besten Arbeitgeber ausgezeichnet zu werden. Aktuell sind wir das am höchsten bewertete Beratungsunternehmen auf der „Best Places to Work“-Liste von Glassdoor und haben den 1. Platz bereits sieben Mal erreicht – ein Rekord. Außergewöhnliche Teams bilden das Herzstück unserer Geschäftsstrategie, doch diese entstehen nicht durch Zufall. Sie erfordern einen bewussten Fokus darauf, eine breite Palette an Hintergründen, Kulturen, Erfahrungen, Perspektiven und Fähigkeiten in einem unterstützenden und inklusiven Arbeitsumfeld zusammenzubringen. Wir stellen Talente mit außergewöhnlichen Fähigkeiten ein und schaffen ein Umfeld, in dem sich jeder Einzelne beruflich und persönlich entfalten kann.
Mit wem Sie zusammenarbeiten werden
Sie werden Teil eines Teams, das Bains integrierte Suite von agentenbasierten Entscheidungstools entwickelt, die großen Unternehmen eine permanente Intelligenz für ihre wichtigsten Wachstumsentscheidungen bietet. Diese Rolle befindet sich an einer Schnittstelle, die nur wenige Organisationen bieten können: die analytische Tiefe und der Kundenzugang einer erstklassigen Unternehmensberatung, der technische Anspruch eines Produktunternehmens und Ingenieursarbeit an der Grenze der angewandten KI.
Sie arbeiten innerhalb des festen Produktteams von Bain und entwickeln Software, die den weltweit größten Unternehmen hilft, die Fragen zu beantworten, die ihr Geschäft vorantreiben: Wo investieren, worauf fokussieren und wie gewinnen. Die Wirkung Ihrer Arbeit ist direkt und unmittelbar, und die Plattform gewinnt mit jedem Release an Wert.
Die Plattform besteht aus zwei zusammenwirkenden Ebenen: einem agentenbasierten Kern und einer Reihe von Entscheidungsmodulen, von denen jedes ein spezifisches kommerzielles Problem löst. Der Entwicklungszyklus ist eng mit der realen Welt verknüpft: Während Case-Teams branchen- und länderübergreifend mit Kunden zusammenarbeiten, fließt dieses Feedback direkt zurück in die Entwicklung und in das Produkt. Jedes Kundenprojekt macht die Plattform intelligenter, umfassender und widerstandsfähiger.
Dies ist ein Startup innerhalb eines etablierten Unternehmens. Sie erhalten echte Verantwortung in einer frühen Phase und einen tatsächlichen Einfluss auf die Architektur und die Produktausrichtung, unterstützt durch die globale Reichweite, die Kundenbeziehungen und das Führungsengagement von Bain; das Tempo eines Startups mit der Stabilität eines globalen Unternehmens.
Wir suchen Engineering Leads, die erkennen, wie die Evaluierungen der Plattform geschärft werden können, und die diesen Instinkt in jeden Sprint einbringen, ohne dazu aufgefordert zu werden, und die sich bei Problemen wohlfühlen, für die es noch keine bekannte Lösung gibt. Die Arbeit umfasst den Aufbau von Evaluierungs-Frameworks für LLM-basierte und agentenbasierte Systeme, Systemintegrationstests und Datenprobleme ohne Standardlösungen. Erfahrung mit agentenbasierten Systemen ist wichtig: Tool- und Kontextprotokolle wie MCP, Evaluierungs-Harnesses und Entity Resolution bei komplexen Unternehmensdaten. Dies ist angewandte KI in der Produktion, in großem Maßstab, mit echten Nutzern und einem Team, das darauf angewiesen ist, wie Sie Probleme angehen, für die es keine bekannte Lösung gibt. Das Feld entwickelt sich schnell und das Team ist darauf ausgelegt, mitzuhalten, daher zählt die Bereitschaft, ständig dazuzulernen, genauso viel wie das, was Sie bereits wissen.
Wo Sie im Team angesiedelt sind
Der AI Engineering Lead, Evals and Systems Integration, verantwortet das Evaluierungs-Framework und die Systemintegrationsebene für die gesamte Growth AI Performance System-Plattform. Dies ist eine bereichsübergreifende Rolle: Sie evaluieren nicht nur einen einzelnen Agenten oder ein einzelnes Modul, sondern die Kohärenz, Qualität und Zuverlässigkeit des gesamten Systems: von der Daten-Ontologie-Ebene über den Agentic Core bis hin zu den drei Produktmodulen, die von Kunden genutzt werden. Ihre Arbeit ist das Qualitäts-Gate, das bestimmt, was bereit für den Release ist und was nicht.
Sie arbeiten direkt mit drei Teams zusammen: dem Data Ontology and Knowledge-Team, bei dem Sie evaluieren, ob die semantische Ebene Ergebnisse liefert, die präzise, konsistent und für nachgelagerte KI-Systeme nutzbar sind; dem Agentic Core and Interface-Team, bei dem Sie evaluieren, ob agentenbasierte Workflows zuverlässig ausgeführt werden, korrekt schlussfolgern und bei Fehlern kontrolliert reagieren; und dem Platform and Security-Team, bei dem Sie sicherstellen, dass die Evaluierungs- und Observability-Infrastruktur gehärtet, konform und in die Sicherheits- und Audit-Kontrollen der Plattform integriert ist.
Sie arbeiten über die Plattform- und Produktmodule hinweg, die sich auf Marketing-ROI, Marke und Preisstrategie konzentrieren, definieren, was für jeden Bereich als „gut“ gilt, erstellen die Evaluierungsdatensätze und Rubriken, die dies erfassen, und setzen Standards für die Deployment-Bereitschaft konsistent über alle drei Module hinweg durch, bevor etwas ein Live-Kundenprojekt erreicht.
Diese Rolle hat eine signifikante Kundennähe. Sie arbeiten nach Kundeneinsätzen mit Beratungsteams zusammen, um zu verstehen, wo das System die Erwartungen nicht erfüllt hat, übersetzen dieses Feedback in strukturierte Verbesserungen der Evaluierung und präsentieren Qualitäts- und Zuverlässigkeitsergebnisse gegenüber hochrangigen Kunden-Stakeholdern. Das von Ihnen aufgebaute Evaluierungs-Framework ist nicht nur ein internes Engineering-Tool: Es ist ein Teil dessen, was Kunden dazu bringt, den Ergebnissen der Plattform zu vertrauen.
Ihre Aufgaben
Design und Verantwortung des Evaluierungs-Frameworks
- Verantwortung und Weiterentwicklung des Evaluierungs-Frameworks für die gesamte Growth AI Performance System-Plattform; Definition von Qualitätsstandards, Bewertungsrubriken, Evaluierungsdatensätzen und Schwellenwerten für die Deployment-Bereitschaft für die Daten-Ontologie-Ebene, den Agentic Core und alle drei Produktmodule
- Design und Pflege von Evaluierungsdatensätzen und Regressionstest-Suiten, die eine systematische, reproduzierbare Messung der Systemqualität über den gesamten full stack hinweg ermöglichen: von der Genauigkeit des Wissensgraphen und der Korrektheit der Entity Resolution bis hin zur Zuverlässigkeit agentenbasierter Workflows und der End-to-End-Ausgabequalität
- Definition, was auf jeder Ebene des Systems (semantische Ebene, agentenbasierte Orchestrierung, Retrieval-Pipelines und Ausgaben der Produktmodule) als „gut genug für das Deployment“ gilt, und konsistente Durchsetzung dieser Standards, bevor eine Änderung eine Live-Kundenumgebung erreicht
- Design von Experimenten zur Messung der Systemqualität, Erkennung von Regressionen und Ermittlung der Grundursachen von Qualitätsmängeln; Anwendung statistischer Schlussfolgerungen und experimentellen Designs, um in Evaluierungsergebnissen Signal von Rauschen zu unterscheiden
- Aufbau automatisierter Evaluierungs-Pipelines, die in CI/CD-Workflows integriert sind, sodass Qualitäts-Gates vor jedem Deployment durchlaufen werden; Sicherstellung, dass Evaluierung ein kontinuierlicher Prozess ist und kein Checkpoint vor dem Release
Systemintegration und teamübergreifende Evaluierung
- Evaluierung der Integrationspunkte zwischen der Daten-Ontologie-Ebene und dem Agentic Core; Validierung, dass die Ausgaben des Wissensgraphen korrekt strukturiert, semantisch konsistent und zuverlässig durch agentenbasierte Retrieval- und Reasoning-Systeme nutzbar sind
- Zusammenarbeit mit dem Data Ontology and Knowledge-Team zur Definition von Evaluierungskriterien für die Qualität der Entity Resolution, die Konsistenz der Taxonomie und die Korrektheit von Datenverträgen; Aufbau der Tests und des Monitorings, die Fehler auf Ontologie-Ebene abfangen, bevor sie sich nachgelagert auswirken
- Zusammenarbeit mit dem Agentic Core and Interface-Team zur Evaluierung der Multi-Agenten-Orchestrierung, der Zuverlässigkeit der Tool-Nutzung, der Kontextweitergabe und der End-to-End-Korrektheit der Workflows; Definition von Taxonomien für Fehlermodi und Sicherstellung, dass das System bei Komponentenausfällen kontrolliert degradiert
- Zusammenarbeit mit dem Platform and Security-Team, um sicherzustellen, dass die Evaluierungsinfrastruktur in die Sicherheitskontrollen, Audit-Logs und Compliance-Anforderungen der Plattform integriert ist; Validierung, dass die Evaluierungs-Pipelines selbst sensible Kundendaten korrekt verarbeiten
- Koordination der Evaluierungsarbeit über verteilte Engineering-Teams hinweg; Übersetzung von Evaluierungsergebnissen in konkrete, priorisierte Engineering-Verbesserungen und klare Kommunikation des Qualitätsstatus an die Produkt- und Engineering-Führung
Kommunikationsfähigkeiten für interne Stakeholder
- Zusammenarbeit mit Beratungsteams nach Live-Kundendeployments, um zu verstehen, wo Systemausgaben die Erwartungen nicht erfüllt haben, Rückverfolgung von Qualitätsmängeln durch das Evaluierungs-Framework, Identifizierung von Grundursachen und Rückführung strukturierter Erkenntnisse an die relevanten Engineering-Teams
- Präsentation von Evaluierungsergebnissen, Qualitätskennzahlen und Einschätzungen zur Systemzuverlässigkeit gegenüber hochrangigen Stakeholdern, einschließlich der Geschäftsführung; Übersetzung technischer Qualitätsmaße in geschäftliche Begriffe, die erklären, wofür der Plattform vertraut werden kann und wofür nicht
- Beitrag zur internen Stakeholder-Kommunikation, in der der Evaluierungsansatz und die Qualitätsstandards der Plattform erläutert werden; Aufbau von Vertrauen in die Strenge des Deployment-Prozesses der Plattform durch glaubwürdige, evidenzbasierte Kommunikation
- Auf dem Laufenden bleiben bei neuen Evaluierungsmethoden, Frameworks zur Bewertung verantwortungsvoller KI und KI-spezifischen Risiko- und Sicherheitsansätzen; Leitung des Wissensaustauschs zu Best Practices der Evaluierung im gesamten Engineering-Team
Mindestanforderungen
Über Sie
Technisch
- Fundierte Erfahrung im Design und der Durchführung von Evaluierungen für LLM-basierte und agentenbasierte KI-Systeme über den gesamten Bereitstellungslebenszyklus hinweg, mit einer nachgewiesenen Erfolgsbilanz beim Aufbau von Evaluierungs-Frameworks, die tatsächlich beeinflussen, was veröffentlicht wird
- Starkes Verständnis der Evaluierung von Systemintegrationen, fähig, Tests zu entwerfen, die nicht nur einzelne Komponenten validieren, sondern die Korrektheit und Kohärenz der Schnittstellen zwischen ihnen, einschließlich Wissensgraph-Ausgaben, API-Verträgen und agentenbasierter Kontextweitergabe
- Starke Python-Kenntnisse; Erfahrung im Aufbau automatisierter Evaluierungs-Pipelines, Regressionstest-Suiten und Bewertungsrubriken, die in CI/CD-Workflows integriert sind und ohne manuelles Eingreifen laufen
- Statistische Schlussfolgerungen und experimentelles Design: fähig, Experimente zu entwerfen, die die Systemqualität rigoros messen, Ergebnisse ohne Überinterpretation von Rauschen zu interpretieren und Grundursachen von Qualitätsmängeln an Engineering-Teams zu kommunizieren
- Vertrautheit mit der Evaluierung von Wissensgraphen und Ontologien, Verständnis dafür, was Korrektheit der Entity Resolution, Konsistenz der Taxonomie und Qualität der semantischen Ebene in der Praxis bedeuten und wie man sie programmatisch misst
- Erfahrung mit Human-in-the-Loop-Annotation und Feedback-Systemen; Vertrautheit mit Preference Learning, Daten-Labeling-Strategien und Methoden zur Feedback-Sammlung für LLM- und agentenbasierte Anwendungen
- Verständnis der Sicherheits-, Audit- und Compliance-Anforderungen für Evaluierungsinfrastruktur: wie man sensible Kundendaten in Evaluierungs-Pipelines handhabt, was Audit-Trails erfassen müssen und wie sich Evaluierung in die Sicherheitskontrollen der Plattform integriert
- Native KI-Fluency: aktive Nutzung von KI-gestützten Coding-Tools (Cursor, Claude Code oder gleichwertig) und nachgewiesene kontinuierliche Weiterentwicklung der Evaluierungsmethodik im Zuge der Feldentwicklung
- Nachgewiesenes Engagement für verantwortungsvolle KI-Praktiken: Risikobewertung, Evaluierung von Bias und Fairness, KI-Sicherheitsprinzipien und Vertrautheit mit KI-spezifischen Risiken, einschließlich Prompt Injection, Datenabfluss und Ausnutzung agentenbasierter Workflows
Erfahrung
- 8 oder mehr Jahre in AI Engineering, ML Engineering oder angewandten KI-Rollen mit signifikanter praktischer Verantwortung für die Entwicklung
- Erfolgsbilanz beim Aufbau und der Verantwortung von Evaluierungs-Frameworks für produktive KI- oder ML-Systeme, nicht nur Beitrag zur Evaluierung, sondern Definition der Standards, Aufbau der Infrastruktur und Durchsetzung von Deployment-Gates
- Erfahrung in der Evaluierung von Systemen, die mehrere Komponenten und Integrationspunkte umfassen, nicht nur Evaluierung auf Modellebene, sondern systemweite Evaluierung über Daten-Pipelines, APIs und agentenbasierte Workflows hinweg
- Erfahrung in der Arbeit mit oder neben Wissensgraph-, Ontologie- oder semantischen Datenteams ist ein starker Vorteil
- Direkte Erfahrung im Umgang mit Kunden oder hochrangigen Business-Stakeholdern in technischer Kapazität, Präsentation von Qualitätsergebnissen, Beratung zur Systemzuverlässigkeit oder Beitrag zur kundenorientierten Bereitstellung
- Erfahrung in der Arbeit in agilen, funktionsübergreifenden Produkt- oder beratungsnahen Umgebungen; starke Fähigkeiten zur Fehlerbehebung und Ursachenanalyse
Ausbildung
Associate’s Degree / Bachelor-Abschluss in Informatik, Ingenieurwesen, Mathematik oder einem verwandten technischen Bereich; oder eine gleichwertige Kombination aus Ausbildung, Training und Erfahrung
Informationen zur Vergütung in den USA
Die Vergütung für diese Rolle umfasst ein Grundgehalt, einen jährlichen diskretionären Leistungsbonus, einen 401(k)-Plan mit einem jährlichen Arbeitgeberbeitrag basierend auf der Betriebszugehörigkeit sowie das erstklassige Leistungspaket von Bain (Details unten aufgeführt).
Einige lokale Behörden in den Vereinigten Staaten verlangen, dass in Stellenausschreibungen für offene Stellen eine nach Treu und Glauben angemessene Gehaltsspanne angegeben wird. Die geschätzte jährliche Vergütung für diese Rolle ist wie folgt:
- In Massachusetts liegt die nach Treu und Glauben angemessene jährliche Vollzeit-Gehaltsspanne für diese Rolle zwischen $198,250 – $237,500; die Platzierung innerhalb dieser Spanne variiert basierend auf verschiedenen Faktoren, einschließlich, aber nicht beschränkt auf Erfahrung, Ausbildung, Zulassungen/Zertifizierungen, Training und Qualifikationsniveau
- In Illinois liegt die nach Treu und Glauben angemessene jährliche Vollzeit-Gehaltsspanne für diese Rolle zwischen $189,500 – $227,000; die Platzierung innerhalb dieser Spanne variiert basierend auf verschiedenen Faktoren, einschließlich, aber nicht beschränkt auf Erfahrung, Ausbildung, Zulassungen/Zertifizierungen, Training und Qualifikationsniveau
- Jährlicher diskretionärer Leistungsbonus
- Diese Rolle kann auch für andere Elemente der diskretionären Vergütung in Frage kommen
- 4.5% 401(k)-Arbeitgeberbeitrag, der nach 3 Jahren Betriebszugehörigkeit steigt und ab dem Startdatum zu 100% unverfallbar ist
Das umfassende Leistungs- und Wellnessprogramm von Bain & Company wurde entwickelt, um Mitarbeitern dabei zu helfen, persönliche Unabhängigkeit, Schutz und Stabilität in den Bereichen zu erreichen, die für Sie und Ihre Familie am wichtigsten sind.
- Bain zahlt 100% der individuellen Mitarbeiterprämien für Kranken-, Zahn- und Augenversicherungsprogramme und bietet einen der umfassendsten medizinischen Pläne für Mitarbeiter, ohne Ihr Gehalt zu belasten
- Großzügiger bezahlter Urlaub, einschließlich Elternzeit, Krankheitsurlaub und bezahlter Feiertage
- Vollständig unverfallbarer 401(k)-Arbeitgeberbeitrag
- Bezahlte Lebens- und Berufsunfähigkeitsversicherung
Für alle anderen Standorte ist die nach Treu und Glauben angemessene jährliche Vollzeit-Gehaltsspanne für diese Rolle mit den wettbewerbsfähigen geografischen Marktpreisen für diese Rolle vereinbar und variiert basierend auf verschiedenen Faktoren, einschließlich, aber nicht beschränkt auf Erfahrung, Ausbildung, Zulassungen/Zertifizierungen, Training und Qualifikationsniveau.
In Massachusetts ist es rechtswidrig, einen Lügendetektortest als Bedingung für eine Anstellung oder eine fortgesetzte Anstellung zu verlangen oder durchzuführen. Ein Arbeitgeber, der gegen dieses Gesetz verstößt, unterliegt strafrechtlichen Sanktionen und zivilrechtlicher Haftung.
ALLGEMEINE INFORMATIONEN
Jobtitel AI Engineering Lead, Evals and Systems Integration
Job-ID 111330
Arbeitsbereiche Technologie & Engineering
Anstellungsart Unbefristete Vollzeitstelle
Standort(e) Boston, Chicago, London, Sao Paulo, Warschau
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen