États-Unis
Siemens
Bain & Company
Responsable Ingénierie IA, Évaluations et Intégration de Systèmes
États-Unis
Warsaw, Masovian Voivodeship, Poland · London, England, United Kingdom · Chicago, Illinois, United States · Boston, Massachusetts, United States · São Paulo, Brazil
Python
Traduction automatique. Consultez l’original.
DESCRIPTION ET EXIGENCES
Pourquoi nous sommes un lieu de travail idéal
Nous sommes fiers d'être régulièrement reconnus comme l'un des meilleurs lieux de travail au monde. Nous sommes actuellement le cabinet de conseil le mieux classé sur la liste des meilleurs lieux de travail de Glassdoor et avons obtenu la 1 place au classement général à sept reprises, un record. Des équipes extraordinaires sont au cœur de notre stratégie commerciale, mais elles ne se forment pas par hasard. Elles nécessitent une attention particulière pour réunir un large éventail de parcours, de cultures, d'expériences, de perspectives et de compétences dans un environnement de travail solidaire et inclusif. Nous recrutons des personnes dotées d'un talent exceptionnel et créons un environnement dans lequel chaque individu peut s'épanouir professionnellement et personnellement.
Avec qui vous travaillerez
Vous ferez partie d'une équipe qui développe la suite intégrée d'outils de décision agentiques de Bain, offrant aux grandes organisations une intelligence continue pour leurs décisions de croissance les plus importantes. Ce rôle se situe à une intersection que peu d'organisations peuvent offrir : la profondeur analytique et l'accès aux clients d'un cabinet de conseil de premier plan, l'ambition technique d'une entreprise de produits et un travail d'ingénierie à la frontière de l'IA appliquée.
Vous travaillerez au sein de l'équipe produit permanente de Bain, en développant des logiciels qui aident les plus grandes entreprises mondiales à répondre aux questions qui orientent leur activité : où investir, sur quoi se concentrer et comment gagner. L'impact de ce que vous construisez est direct et immédiat, et la valeur de la plateforme se multiplie à chaque version.
La plateforme se compose de deux couches travaillant ensemble : un noyau agentique et un ensemble de modules de décision, chacun résolvant un problème commercial distinct. Le cycle de développement est connecté au monde réel : à mesure que les équipes de projet travaillent aux côtés des clients dans divers secteurs et zones géographiques, ces retours sont directement transmis à l'ingénierie et intégrés au produit. Chaque engagement client rend la plateforme plus intelligente, plus étendue et plus résiliente.
Il s'agit d'une startup au sein d'une entreprise établie. Vous bénéficiez d'une véritable autonomie dès le début et d'une réelle influence sur l'architecture et l'orientation du produit, soutenue par l'envergure mondiale, les relations clients et l'engagement de la direction de Bain ; le rythme d'une startup avec les ressources d'une entreprise mondiale.
Nous recherchons des responsables d'ingénierie capables d'affiner les évaluations de la plateforme et d'appliquer cet instinct à chaque sprint sans qu'on le leur demande, et qui sont à l'aise avec des problèmes sans solution connue. Le travail implique la création de cadres d'évaluation pour les systèmes basés sur LLM et les systèmes agentiques, les tests d'intégration de systèmes et les problèmes de données sans solution prête à l'emploi. Une expérience avec les systèmes agentiques est importante : protocoles d'outils et de contexte tels que MCP, harnais d'évaluation et résolution d'entités sur des données d'entreprise complexes. Il s'agit d'IA appliquée en production, à grande échelle, avec de vrais utilisateurs et une équipe qui dépend de votre approche face à des problèmes sans solution connue. Le domaine évolue rapidement et l'équipe est conçue pour suivre cette évolution, donc la volonté de continuer à apprendre compte autant que ce que vous savez déjà.
Votre place au sein de l'équipe
Le responsable de l'ingénierie IA, évaluations et intégration de systèmes, est propriétaire du cadre d'évaluation et de la couche d'intégration de systèmes pour l'ensemble de la plateforme Growth AI Performance System. Il s'agit d'un rôle transversal : vous n'évaluez pas un seul agent ou un seul module, mais la cohérence, la qualité et la fiabilité du système complet : de la couche d'ontologie des données au noyau agentique, jusqu'aux trois modules de produit utilisés par les clients. Votre travail est le point de contrôle qualité qui détermine ce qui est prêt à être déployé et ce qui ne l'est pas.
Vous travaillerez directement avec trois équipes : l'équipe Ontologie des données et Connaissances, où vous évaluerez si la couche sémantique produit des résultats précis, cohérents et exploitables par les systèmes d'IA en aval ; l'équipe Noyau agentique et Interface, où vous évaluerez si les flux de travail agentiques s'exécutent de manière fiable, raisonnent correctement et échouent avec élégance ; et l'équipe Plateforme et Sécurité, où vous veillerez à ce que l'infrastructure d'évaluation et d'observabilité soit renforcée, conforme et intégrée aux contrôles de sécurité et d'audit de la plateforme.
Vous travaillerez sur l'ensemble de la plateforme et des modules de produit axés sur le retour sur investissement marketing, la marque et la stratégie de prix, en définissant ce qu'est un bon résultat pour chaque domaine, en créant les jeux de données d'évaluation et les rubriques qui le capturent, et en appliquant des normes de préparation au déploiement de manière cohérente sur les trois modules avant que quoi que ce soit n'atteigne un engagement client en direct.
Ce rôle implique une grande proximité avec les clients. Vous interagirez avec les équipes de conseil après les déploiements chez les clients pour comprendre où le système a échoué, traduire ces retours en améliorations structurées de l'évaluation et présenter les conclusions sur la qualité et la fiabilité aux principales parties prenantes des clients. Le cadre d'évaluation que vous construisez n'est pas seulement un outil d'ingénierie interne : il fait partie de ce qui permet aux clients de faire confiance à ce que la plateforme produit.
Vos missions
Conception et appropriation du cadre d'évaluation
- Posséder et faire évoluer le cadre d'évaluation sur l'ensemble de la plateforme Growth AI Performance System, en définissant les normes de qualité, les rubriques de notation, les jeux de données d'évaluation et les seuils de préparation au déploiement pour la couche d'ontologie des données, le noyau agentique et les trois modules de produit.
- Concevoir et maintenir des jeux de données d'évaluation et des suites de tests de régression qui permettent une mesure systématique et reproductible de la qualité du système sur l'ensemble de la full stack : de la précision du graphe de connaissances et de la correction de la résolution d'entités à la fiabilité du flux de travail agentique et à la qualité des résultats de bout en bout.
- Définir ce que signifie « suffisamment bon pour être déployé » à chaque couche du système (couche sémantique, orchestration agentique, pipelines de récupération et résultats des modules de produit), et appliquer ces normes de manière cohérente avant que tout changement n'atteigne un environnement client en direct.
- Concevoir des expériences pour mesurer la qualité du système, détecter les régressions et identifier la cause profonde des échecs de qualité ; appliquer le raisonnement statistique et la conception expérimentale pour distinguer le signal du bruit dans les résultats d'évaluation.
- Construire des pipelines d'évaluation automatisés qui s'intègrent dans les flux de travail CI/CD afin que les points de contrôle qualité s'exécutent avant chaque déploiement ; veiller à ce que l'évaluation soit un processus continu, et non un point de contrôle avant la mise en production.
Intégration de systèmes et évaluation inter-équipes
- Évaluer les points d'intégration entre la couche d'ontologie des données et le noyau agentique, en validant que les résultats du graphe de connaissances sont correctement structurés, sémantiquement cohérents et exploitables de manière fiable par les systèmes de récupération et de raisonnement agentiques.
- Travailler avec l'équipe Ontologie des données et Connaissances pour définir les critères d'évaluation de la qualité de la résolution d'entités, de la cohérence de la taxonomie et de la correction des contrats de données ; construire les tests et la surveillance qui détectent les échecs de la couche d'ontologie avant qu'ils ne se propagent en aval.
- Travailler avec l'équipe Noyau agentique et Interface pour évaluer l'orchestration multi-agents, la fiabilité de l'utilisation des outils, le passage de contexte et la correction du flux de travail de bout en bout ; définir des taxonomies de modes de défaillance et s'assurer que le système se dégrade avec élégance lorsque des composants échouent.
- Travailler avec l'équipe Plateforme et Sécurité pour s'assurer que l'infrastructure d'évaluation est intégrée aux contrôles de sécurité, à la journalisation d'audit et aux exigences de conformité de la plateforme ; valider que les pipelines d'évaluation eux-mêmes traitent correctement les données sensibles des clients.
- Coordonner le travail d'évaluation entre les équipes d'ingénierie distribuées ; traduire les conclusions de l'évaluation en améliorations d'ingénierie concrètes et priorisées et communiquer clairement l'état de la qualité à la direction produit et ingénierie.
Compétences en communication avec les parties prenantes internes
- Interagir avec les équipes de conseil après les déploiements chez les clients pour comprendre où les résultats du système ont été insuffisants, en retraçant les échecs de qualité à travers le cadre d'évaluation, en identifiant les causes profondes et en transmettant les conclusions structurées aux équipes d'ingénierie concernées.
- Présenter les conclusions de l'évaluation, les mesures de qualité et les évaluations de la fiabilité du système aux principales parties prenantes, y compris la direction exécutive ; traduire les mesures de qualité technique en termes commerciaux qui expliquent ce que la plateforme peut et ne peut pas faire en toute confiance.
- Contribuer aux parties prenantes internes où l'approche d'évaluation et les normes de qualité de la plateforme sont expliquées ; renforcer la confiance dans la rigueur du processus de déploiement de la plateforme grâce à une communication crédible et fondée sur des preuves.
- Se tenir au courant des méthodologies d'évaluation émergentes, des cadres d'évaluation de l'IA responsable et des approches de risque et de sécurité spécifiques à l'IA ; diriger le partage des connaissances sur les meilleures pratiques d'évaluation au sein de l'équipe d'ingénierie.
Prérequis
À propos de vous
Technique
- Expérience approfondie dans la conception et l'exécution d'évaluations pour les systèmes d'IA basés sur LLM et les systèmes agentiques tout au long du cycle de vie de livraison, avec une expérience avérée dans la création de cadres d'évaluation qui changent réellement ce qui est mis en production.
- Solide compréhension de l'évaluation de l'intégration de systèmes, capable de concevoir des tests qui valident non seulement les composants individuels mais aussi la correction et la cohérence des interfaces entre eux, y compris les résultats des graphes de connaissances, les contrats API et le passage de contexte agentique.
- Solide maîtrise de Python ; expérience dans la création de pipelines d'évaluation automatisés, de suites de tests de régression et de rubriques de notation qui s'intègrent dans les flux de travail CI/CD et s'exécutent sans intervention manuelle.
- Raisonnement statistique et conception expérimentale : capable de concevoir des expériences qui mesurent rigoureusement la qualité du système, d'interpréter les résultats sans surinterpréter le bruit et de faire remonter les causes profondes des échecs de qualité aux équipes d'ingénierie.
- Familiarité avec l'évaluation des graphes de connaissances et des ontologies, compréhension de ce que signifient en pratique la correction de la résolution d'entités, la cohérence de la taxonomie et la qualité de la couche sémantique, et comment les mesurer par programmation.
- Expérience avec les systèmes d'annotation et de rétroaction avec intervention humaine ; familiarité avec l'apprentissage par préférence, les stratégies d'étiquetage des données et les méthodologies de collecte de rétroaction pour les applications LLM et agentiques.
- Compréhension des exigences de sécurité, d'audit et de conformité pour l'infrastructure d'évaluation : comment traiter les données sensibles des clients dans les pipelines d'évaluation, ce que les pistes d'audit doivent capturer et comment l'évaluation s'intègre aux contrôles de sécurité de la plateforme.
- Maîtrise native de l'IA : utilisation active d'outils de codage assistés par IA (Cursor, Claude Code ou équivalent) et développement continu démontré de la méthodologie d'évaluation à mesure que le domaine évolue.
- Engagement démontré envers les pratiques d'IA responsable : évaluation des risques, évaluation des biais et de l'équité, principes de sécurité de l'IA et familiarité avec les risques spécifiques à l'IA, notamment l'injection de prompts, la fuite de données et l'exploitation des flux de travail agentiques.
Expérience
- 8 ans ou plus dans des rôles d'ingénierie IA, d'ingénierie ML ou d'IA appliquée avec des responsabilités pratiques significatives.
- Expérience avérée dans la création et l'appropriation de cadres d'évaluation pour des systèmes d'IA ou de ML en production, non seulement en contribuant à l'évaluation, mais en définissant les normes, en construisant l'infrastructure et en appliquant les points de contrôle de déploiement.
- Expérience dans l'évaluation de systèmes couvrant plusieurs composants et points d'intégration, non seulement l'évaluation au niveau du modèle, mais l'évaluation au niveau du système à travers les pipelines de données, les APIs et les flux de travail agentiques.
- Une expérience de travail avec ou aux côtés d'équipes spécialisées dans les graphes de connaissances, les ontologies ou les données sémantiques est un atout majeur.
- Expérience directe dans l'interaction avec des clients ou des parties prenantes commerciales de haut niveau dans une capacité technique, en présentant des conclusions sur la qualité, en conseillant sur la fiabilité du système ou en contribuant à la livraison orientée client.
- Expérience de travail dans des environnements agiles, interfonctionnels, de produit ou adjacents au conseil ; solides compétences en dépannage et en analyse des causes profondes.
Éducation
Diplôme d'associé / Licence en informatique, ingénierie, mathématiques ou dans un domaine technique connexe ; ou une combinaison équivalente d'éducation, de formation et d'expérience.
Informations sur la rémunération aux États-Unis
La rémunération pour ce rôle comprend un salaire de base, une prime de performance annuelle discrétionnaire, un plan 401(k) avec une contribution annuelle de l'employeur basée sur les années de service et le meilleur ensemble d'avantages sociaux de Bain (détails listés ci-dessous).
Certaines administrations locales aux États-Unis exigent qu'une fourchette salariale raisonnable et de bonne foi soit incluse dans les offres d'emploi pour les postes ouverts. La rémunération annualisée estimée pour ce rôle est la suivante :
- Dans le Massachusetts, la fourchette de salaire annuel à temps plein, raisonnable et de bonne foi pour ce rôle se situe entre $198,250 – $237,500 ; le placement dans cette fourchette variera en fonction de plusieurs facteurs, notamment, mais sans s'y limiter, l'expérience, l'éducation, les licences/certifications, la formation et le niveau de compétence.
- Dans l'Illinois, la fourchette de salaire annuel à temps plein, raisonnable et de bonne foi pour ce rôle se situe entre $189,500 – $227,000 ; le placement dans cette fourchette variera en fonction de plusieurs facteurs, notamment, mais sans s'y limiter, l'expérience, l'éducation, les licences/certifications, la formation et le niveau de compétence.
- Prime de performance annuelle discrétionnaire
- Ce rôle peut également être éligible à d'autres éléments de rémunération discrétionnaire
- Contribution de l'entreprise au 401(k) de 4.5%, qui augmente après 3 années de service et est acquise à 100% dès la date de début
Le programme complet d'avantages sociaux et de bien-être de Bain & Company est conçu pour aider les employés à atteindre l'indépendance personnelle, la protection et la stabilité dans les domaines les plus importants pour vous et votre famille.
- Bain paie 100% des primes individuelles des employés pour les programmes médicaux, dentaires et de vision, offrant l'un des plans médicaux les plus complets pour les employés sans impacter votre salaire
- Congés payés généreux, y compris congé parental, congé de maladie et jours fériés payés
- Contribution de l'entreprise au 401(k) entièrement acquise
- Assurance vie et assurance invalidité de longue durée payées
Pour tous les autres sites, la fourchette de salaire annuel à temps plein, raisonnable et de bonne foi pour ce rôle est proportionnelle aux taux du marché géographique concurrentiel pour ce rôle et variera en fonction de plusieurs facteurs, notamment, mais sans s'y limiter, l'expérience, l'éducation, les licences/certifications, la formation et le niveau de compétence.
Il est illégal dans le Massachusetts d'exiger ou d'administrer un test de détecteur de mensonge comme condition d'emploi ou de maintien dans l'emploi. Un employeur qui enfreint cette loi sera passible de sanctions pénales et de responsabilité civile.
INFORMATIONS GÉNÉRALES
Intitulé du poste Responsable Ingénierie IA, Évaluations et Intégration de Systèmes
ID du poste 111330
Domaines de travail Technologie et Ingénierie
Type d'emploi Permanent à temps plein
Lieu(x) Boston, Chicago, Londres, São Paulo, Varsovie
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil