Abacus Insights

Ingénieur Qualité Systèmes IA Senior

TypeScriptPythonAWSGo
Traduction automatique. Consultez l’original.

À propos de nous

Abacus Insights transforme la manière dont les données et l'IA fonctionnent pour les régimes d'assurance maladie. Notre mission est simple : rendre les données de santé utilisables, afin que les personnes responsables des décisions relatives aux soins et aux coûts puissent agir plus rapidement, en toute confiance.

En tant que plateforme de données IA pour l'intelligence des payeurs, nous aidons les régimes d'assurance maladie à décomposer les silos de données pour créer une base de données unique et fiable. Cette base permet de prendre de meilleures décisions, afin que les régimes puissent améliorer les résultats, réduire le gaspillage et offrir de meilleures expériences aux membres et aux prestataires. Soutenus par 100 millions de dollars d'investissements de la part des meilleurs investisseurs, nous relevons de grands défis dans un secteur prêt au changement. Notre plateforme permet des cas d'utilisation GenAI en fournissant des données de santé propres, connectées et fiables pour soutenir l'automatisation, la priorisation et les flux de travail décisionnels, et c'est pourquoi nous sommes à la pointe.

Nous aidons les régimes d'assurance maladie à décomposer les silos de données pour créer une base de données unique et fiable. Cette base permet de prendre de meilleures décisions, afin que les régimes puissent améliorer les résultats, réduire le gaspillage et offrir de meilleures expériences aux membres et aux prestataires. Soutenus par 100 millions de dollars d'investissements de la part des meilleurs investisseurs, nous relevons de grands défis dans un secteur prêt au changement. Notre plateforme permet des cas d'utilisation GenAI en fournissant des données de santé propres, connectées et fiables pour soutenir l'automatisation, la priorisation et les flux de travail décisionnels, et c'est pourquoi nous sommes à la pointe.

Notre innovation commence par les personnes. Nous sommes audacieux, curieux et collaboratifs, car les meilleures idées viennent du travail d'équipe. Nous adoptons l'utilisation réfléchie de l'IA et de l'automatisation pour stimuler l'innovation et l'efficacité, et nous recherchons des personnes curieuses et adaptables, enthousiastes à l'idée d'exploiter les technologies émergentes pour améliorer notre façon de travailler, tout en gardant l'intuition humaine, la connexion et nos clients au centre de chaque décision.

Prêt à avoir un impact ? Rejoignez-nous et construisons l'avenir ensemble.

À propos du rôle

Chez Abacus Insights, nous construisons des plateformes basées sur l'IA qui sont au cœur des décisions critiques en matière de santé, où la fiabilité, l'exactitude et la confiance sont aussi importantes que l'innovation. Alors que notre utilisation des systèmes agiles pilotés par LLM s'intensifie, garantir que ces systèmes se comportent de manière sûre et prévisible dans des environnements réels n'est pas une option, c'est fondamental.

L'Ingénieur Qualité Systèmes IA Senior joue un rôle essentiel pour rendre nos systèmes IA prêts pour la production, opérationnels et fiables. Ce n'est pas un rôle QA traditionnel. Au lieu de cela, vous contribuerez à définir comment la qualité est intégrée dans les systèmes agiles dès le début, en intégrant des garde-fous, des signaux d'évaluation et un comportement de défaillance sécurisé directement dans la manière dont ces systèmes sont conçus, construits et déployés. Dans ce rôle, vous aiderez également à concevoir et à posséder une plateforme de test IA qui fonctionne nativement au sein de notre architecture Medallion Databricks, en tirant parti d'outils comme MLflow pour permettre l'évaluation, la lignée, la traçabilité et l'auditabilité à grande échelle. Il s'agit d'un rôle axé sur la plateforme, axé sur l'établissement de pratiques de qualité répétables et évolutives plutôt que sur la validation ponctuelle.

Vous collaborerez étroitement avec les ingénieurs IA, les équipes de plateforme et les parties prenantes de la livraison pour concevoir des cadres d'évaluation personnalisés, des pipelines de validation et des outils de test automatisés qui reflètent la manière dont les systèmes agiles se comportent en production. Vous vous concentrerez sur la validation de la logique d'orchestration, la gestion du comportement non déterministe et la garantie que les systèmes IA se dégradent en toute sécurité en cas d'incertitude, de mise à l'échelle et de défaillance.

Ce rôle est axé sur l'automatisation par conception. Vous construirez des tests IA automatisés de bout en bout intégrés au cycle de développement, où la validation est continuellement appliquée, et non examinée manuellement après coup. Votre travail influencera directement la préparation des versions, la confiance opérationnelle et la capacité d'Abacus à déployer de manière responsable l'IA avancée dans des environnements de santé critiques.

Si vous pensez que la qualité est une discipline d'ingénierie fondamentale, et non un point de contrôle en aval, ce rôle vous donne l'opportunité de façonner la manière dont l'IA agile fiable, gouvernée et évolutive est construite dès le départ.

Vos tâches quotidiennes

  1. Construire et déployer des cadres de validation de qualité production, des outils de test et des pipelines d'évaluation tout au long du cycle de vie de l'IA (conception → déploiement).
  1. Concevoir et faire évoluer une plateforme de test IA intégrée à Databricks et MLflow, permettant des tests répétables, la traçabilité et l'auditabilité.
  1. Créer des suites de tests à grande échelle basées sur des scénarios (des centaines à des milliers de cas) pour valider les flux de travail agiles de bout en bout, y compris les cas limites, les scénarios de longue traîne et les modes de défaillance.
  1. Valider le comportement d'orchestration (utilisation des outils, mémoire, logique de décision) et tester les limites du comportement non déterministe du système avant la production.
  1. Intégrer la qualité dès la conception : définir les contrats système, les garde-fous et les modèles de dégradation sécurisée aux points clés.
  1. Définir des signaux de qualité mesurables pour les systèmes LLM (ancrage, hallucinations, pertinence, latence, coût) et les intégrer dans les pipelines CI/CD en tant que portes de qualité automatisées.
  1. Assurer que la validation IA s'exécute automatiquement lors des changements de modèle, de prompt et de code, permettant une application continue de la qualité.
  1. Construire des bibliothèques et des composants réutilisables afin que les équipes puissent adopter rapidement des pratiques de qualité IA cohérentes.
  1. Assumer la responsabilité d'aspects de la préparation des versions IA, y compris la définition des critères de réussite/échec basés sur des seuils de qualité mesurables.
  1. Collaborer avec les équipes IA, plateforme, sécurité et livraison pour traduire les besoins de la mission en critères de qualité clairs, compromis et niveaux de confiance.

Ce que vous apportez à l'équipe

  1. 7+ années d'expérience en ingénierie logicielle, principalement dans les systèmes backend ou de plateforme.
  1. Expérience avérée dans la conception et la mise en œuvre de l'automatisation des tests IA dans des environnements de production, et pas seulement dans l'exécution des tests.
  1. Capacité démontrée à construire des cadres de validation, d'évaluation ou de test personnalisés pour des systèmes complexes et distribués.
  1. Solide maîtrise de Python et/ou TypeScript au sein des piles d'ingénierie IA modernes.
  1. Expérience pratique avec les systèmes basés sur l'IA, y compris les flux de travail basés sur LLM ou agiles et le comportement non déterministe.
  1. Expérience dans la conception ou la contribution aux tests IA à grande échelle, y compris les cadres de régression, l'évaluation de la longue traîne et une large couverture de tests.
  1. Compréhension approfondie de l'intégration CI/CD, y compris l'intégration de tests automatisés et de portes de qualité dans les pipelines de déploiement.
  1. Solide compréhension des architectures cloud natives AWS.
  1. Expérience avérée en matière d'ingénierie axée sur la qualité, la fiabilité, la gouvernance et la sécurité en tant que principes fondamentaux de conception système.
  1. Connaissance pratique de la sécurité, de la confidentialité et des risques opérationnels dans des environnements réglementés ou critiques, y compris les modes de défaillance et la récupération.
  1. Expérience des méthodologies de test IA, y compris l'évaluation des sorties non déterministes, la détection de dérive, les tests de biais/équité et les stratégies de régression robustes.
  1. Capacité avérée à établir des seuils de confiance mesurables pour les systèmes IA, y compris la définition et l'opérationnalisation de métriques de succès telles que la précision des requêtes, les limites d'hallucination, l'explicabilité et le comportement sécurisé pour les PHI en tant que critères de publication exécutoires.
  1. Expérience de travail avec des experts du domaine pour définir la correction et les scénarios de validation du monde réel, permettant une couverture de test à grande échelle et pertinente pour les affaires, qui reflète les cas d'utilisation réels de production plutôt que des perspectives d'ingénierie uniquement.

Ce que nous aimerions voir, mais ce n'est pas obligatoire

  1. Expérience avec les environnements natifs Databricks et l'architecture Medallion.
  1. Expérience d'utilisation de MLflow pour l'évaluation des modèles, le suivi de lignée et l'auditabilité.
  1. Exposition aux outils d'observabilité (par exemple, Datadog, Prometheus, Grafana) pour les flux de travail IA distribués.
  1. Familiarité avec les techniques d'évaluation LLM, les garde-fous et les cadres d'application des politiques.
  1. Expérience dans l'évaluation des régressions de performance, de latence ou de coût dans les systèmes IA.
  1. Capacité à documenter clairement le comportement du système et les compromis de qualité pour les publics techniques et commerciaux.
  1. Formation formelle ou certification en systèmes IA/ML (par exemple, ISTQB AI Testing, AWS ML Specialty, Google ML Engineer).
  1. Expérience dans la conception et l'itération sur les prompts, les comportements des agents et la logique d'orchestration en tant qu'artefacts versionnés et testables, permettant un raffinement rapide du comportement du système IA (souvent appelé « vibe coding ») sans dépendre fortement des modifications de code traditionnelles.
  1. Familiarité avec l'utilisation de systèmes IA pour générer et étendre des scénarios de test, y compris la création de jeux de données de test à grande échelle, diversifiés et contradictoires pour améliorer considérablement la couverture et la profondeur de validation.

Notre engagement en tant qu'employeur garantissant l'égalité des chances

Rémunération : La rémunération pour ce rôle est basée sur l'expérience, les compétences et la localisation, et comprend un salaire de base plus l'éligibilité aux primes de performance et aux attributions d'actions.

En tant qu'entreprise technologique axée sur la mission et contribuant à améliorer les résultats des soins de santé, Abacus Insights croit que l'innovation et la valeur que nous apportons à nos clients proviennent d'idées, de pensées, d'expériences et de perspectives diverses. Par conséquent, nous consacrons des ressources à la constitution d'équipes diversifiées et à l'offre d'opportunités d'emploi égales à tous les candidats. Abacus interdit la discrimination et le harcèlement concernant la race, la couleur, la religion, l'âge, le sexe, l'origine nationale, le statut d'handicap, la génétique, le statut d'ancien combattant protégé, l'orientation sexuelle, l'identité ou l'expression de genre, ou toute autre caractéristique protégée par les lois fédérales, étatiques ou locales.

Au cœur de qui nous sommes se trouve un engagement à construire continuellement et intentionnellement une culture inclusive, une culture qui permet à chaque membre de l'équipe du monde entier de faire son meilleur travail et d'être authentique. Nous portons le même engagement dans notre processus d'embauche, dans le but de créer une expérience d'entretien où vous vous sentez à l'aise et confiant pour mettre en valeur vos forces. S'il y a quoi que ce soit que nous puissions faire pour soutenir cela, grand ou petit, veuillez nous le faire savoir.

Utilisation de l'IA dans le recrutement

Nous utilisons des outils basés sur l'IA tout au long de notre processus de recrutement. Cela inclut la technologie Real Talent Matching de Greenhouse, qui aide à prioriser les candidatures en fonction de critères liés au poste, ainsi que des outils d'IA supplémentaires utilisés pour soutenir le sourcing, la préparation des entretiens et d'autres tâches de recrutement. Nous ne supprimons pas l'élément humain : nos recruteurs et nos équipes d'embauche examinent toutes les candidatures et prennent toutes les décisions relatives à la progression et à l'embauche des candidats, quels que soient les outils utilisés pour soutenir ce processus.

En postulant, vous reconnaissez que nous collecterons et traiterons vos informations personnelles à des fins de recrutement conformément aux lois applicables en matière de protection des données. Veuillez consulter notre Avis de confidentialité des candidats abacusinsights.com/applicant-privacy-policy/ pour plus d'informations, y compris vos droits.

Ce que vous obtiendrez en retour

  • Congés payés illimités – rechargez vos batteries quand vous en avez besoin
  • Travaillez depuis n'importe où – flexibilité pour s'adapter à votre vie
  • Couverture santé complète – plusieurs options de plans parmi lesquelles choisir
  • Actions pour chaque employé – partagez notre succès
  • Environnement axé sur la croissance – votre développement compte ici
  • Allocation pour l'installation du bureau à domicile – soutien ponctuel pour vous aider à démarrer
  • Allocation mensuelle pour téléphone portable – restez connecté en toute simplicité#

Plus d’opportunités avec un seul profil

Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.

Créer mon profil

Ton prochain jobest déjà à ta recherche.

Nort

Plateforme de recrutement inversé pour développeurs

Réseaux sociauxInstagramLinkedInTwitter