États-Unis
Be Structured Technology Group
Inspira Financial
Ingénieur Principal en Opérations IA (Télétravail)
États-Unis
Oak Brook, Illinois, United States
PythonSQL
Traduction automatique. Consultez l’original.
À propos du poste
L'Ingénieur Principal en Opérations IA est rattaché au Directeur Senior du Centre d'Excellence IA, au sein du département Technologie. Ce rôle définit la manière dont les systèmes d'IA chez Inspira Financial sont instrumentés, mesurés, surveillés et documentés, et pilote l'adoption de ces normes à travers l'entreprise, couvrant à la fois les capacités d'IA fournies par des fournisseurs et celles développées en interne. Les missions principales incluent la création de la norme d'entreprise en matière de télémétrie et d'observabilité pour les systèmes d'IA ; la conception de cadres d'évaluation, de détection de dérive et de garde-fous pour les agents ; la traduction des cadres de risque et de conformité liés à l'IA en contrôles opérationnels et en preuves d'audit ; la tenue de l'inventaire des systèmes d'IA de l'entreprise ; et la formation des autres équipes d'ingénierie à l'adoption autonome de ces normes.
Missions et Responsabilités
- Définir la norme de télémétrie d'entreprise pour les systèmes d'IA, couvrant les traces, les prompts, les appels d'outils, la récupération, les jetons, la latence et les coûts, basée sur un schéma neutre vis-à-vis des fournisseurs, tel que les conventions sémantiques OpenTelemetry GenAI.
- Construire la couche de journalisation et d'observabilité qui fournit au Centre d'Excellence IA, aux unités commerciales et au Comité de Gouvernance IA une vue unifiée de l'activité IA à travers les applications personnalisées, les plateformes d'agents et l'IA intégrée des fournisseurs.
- Intégrer la télémétrie IA aux plateformes d'agrégation de journaux d'entreprise, de surveillance des performances des applications, de surveillance de la sécurité, d'alerte et de réponse aux incidents afin de soutenir la visibilité opérationnelle, l'investigation et la conservation des preuves d'audit.
- Établir des modèles de conservation, de rédaction, de masquage et d'accès pour les données de conversation et de trace de l'IA qui satisfont aux obligations de confidentialité, de conservation des dossiers et de conservation légale.
- Publier des implémentations de référence et des kits de démarrage afin que les équipes adoptant la norme de télémétrie héritent d'un chemin opérationnel.
- Concevoir le cadre d'évaluation des systèmes d'IA, incluant des jeux de données de référence, des outils d'évaluation hors ligne, une notation automatisée et par LLM-as-judge, ainsi que des portes de régression dans l'intégration continue (CI).
- Définir les critères de dérive pour chaque classe de système d'IA et construire une détection pour la dégradation de la qualité des sorties, la dégradation de la récupération, le décalage de la distribution des entrées et les mises à jour silencieuses des modèles par les fournisseurs.
- Construire des garde-fous à l'exécution et une application des limites pour les agents, incluant l'autorisation des outils et des actions, les limites de portée et de dépenses, les chemins d'escalade, les déclencheurs avec intervention humaine et les conditions d'arrêt d'urgence.
- Établir le modèle d'incident IA, incluant la taxonomie de gravité, la détection, l'alerte, le retour en arrière, le processus post-mortem et la conversion des incidents en nouveaux cas de test.
- Traduire le NIST AI RMF, l'ISO/IEC 42001, les pratiques de gestion des risques liés aux modèles, ainsi que les obligations applicables en matière de confidentialité et de tenue de dossiers en contrôles opérationnels que les ingénieurs peuvent mettre en œuvre.
- Construire la couche de preuves qui automatise la capture des artefacts nécessaires pour l'audit interne, l'examen externe et la diligence raisonnable des clients.
- Intégrer les données opérationnelles de l'IA aux plateformes de gouvernance, de risque et de conformité pour soutenir la surveillance continue des contrôles, la collecte automatisée de preuves, le reporting des risques et la préparation aux audits.
- Maintenir l'inventaire opérationnel de l'IA à travers les développements personnalisés, les agents, les intégrations et les fonctionnalités d'IA des fournisseurs, incluant un propriétaire, une classification des risques et une couverture des contrôles pour chaque entrée.
- Définir le modèle d'assurance pour l'IA des fournisseurs, incluant la télémétrie requise, les attestations, la détection des changements de modèles des fournisseurs et la surveillance compensatoire.
- Construire des cadres de métriques reliant l'utilisation, la qualité, le coût et la posture de risque de l'IA aux résultats commerciaux, et rapporter ces éléments à la direction du Centre d'Excellence, aux responsables des unités commerciales et au Comité de Gouvernance IA.
- Assurer la visibilité et l'attribution des coûts des jetons et de la plateforme par équipe et par cas d'utilisation, et diriger les travaux d'optimisation qui en découlent.
- Animer des sessions de travail, documenter les modèles, examiner les conceptions et accompagner les équipes lors de leur premier déploiement d'IA entièrement instrumenté.
- Collaborer avec les équipes Risque, Conformité, Juridique, Confidentialité et Sécurité pour intégrer les retours de la triade des risques et s'assurer que des mesures adéquates de détection, de réponse et d'atténuation sont en place.
- Effectuer d'autres tâches selon les besoins.
Qualifications
Formation et Expérience
Minimum requis :
- Licence en Ingénierie ou en Informatique
- 8 ans ou plus d'expérience en ingénierie basée sur la télémétrie, incluant 2 ans d'exploitation de LLM, de ML ou de systèmes agentiques en production, avec une responsabilité pratique de l'instrumentation et de la surveillance.
Compétences et Aptitudes
- Maîtrise de niveau production de Python et SQL, incluant la création d'outils, de pipelines et de services dont dépendent d'autres équipes.
- Expérience démontrée dans l'évaluation et l'observabilité de l'IA, incluant les outils d'évaluation, le traçage, la notation, la détection de dérive et les garde-fous.
- Maîtrise opérationnelle d'au moins un cadre de risque ou de gouvernance de l'IA, tel que le NIST AI RMF, l'ISO/IEC 42001, l'EU AI Act, ou les pratiques de gestion des risques liés aux modèles, et capacité à les convertir en contrôles et en code.
- Expérience de travail dans un environnement réglementé où la journalisation, la conservation, les preuves et le contrôle d'accès sont appliqués plutôt qu'aspiratoires.
- Capacité à influencer sans autorité formelle à travers les équipes d'ingénierie, le conseil juridique et les parties prenantes exécutives.
Autres Exigences
- Capacité à travailler occasionnellement en dehors des heures de bureau normales pour respecter les délais de projet si nécessaire.
- Périodes prolongées en position assise à un bureau et travail sur ordinateur.
- Les certifications pertinentes sont un plus : Datadog Certified Professional, Google Cloud Professional Data Engineer pour BigQuery ML, ou PagerDuty’s AI Ops
- Expérience dans les services financiers, la santé, l'administration des avantages sociaux ou toute autre industrie réglementée préférée, particulièrement dans des environnements traitant des PHI, PII ou des données fiduciaires.
- Connaissance approfondie des plateformes de télémétrie et des pratiques de mesure et de métriques associées préférée.
- Expérience pratique de l'intégration et de l'exploitation de plateformes d'entreprise pour l'IA et l'observabilité des applications, la journalisation centralisée, la gouvernance, le risque, la surveillance continue de la conformité, l'inventaire des systèmes d'IA, l'évaluation et les tests, la gestion des incidents et la gestion des coûts cloud préférée.
- Expérience en FinOps ou en gestion des coûts cloud appliquée aux dépenses de jetons et d'inférence préférée.
- Maîtrise de la sécurité de l'IA préférée, incluant la défense contre l'injection de prompts, les catégories de risques OWASP LLM et agentiques, le red teaming, le sandboxing d'outils et la conception basée sur le moindre privilège pour les identités d'agents.
- Expérience avérée dans la mise en place d'une capacité adoptée volontairement par d'autres équipes préférée.
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil