États-Unis
Temple Health
Solstice
Membre de l'équipe technique (ML)
États-Unis
New York, New York, United States
Python
Traduction automatique. Consultez l’original.
Pourquoi nous rejoindre
Solstice développe des logiciels d'IA qui aident les équipes des sciences de la vie à créer, affiner et réviser du contenu marketing pharmaceutique. Nous avons travaillé avec des fabricants de premier plan dans le secteur des sciences de la vie et plus de 50 marques pharmaceutiques. Nos investisseurs incluent Transformation Capital, Twelve Below, Virtue, ainsi que les fondateurs de Datavant, Commure et Paradigm.
Les défis techniques sont concrets : trouver les preuves pertinentes dans des documents scientifiques complexes, identifier les allégations avec précision et améliorer le contenu généré en utilisant les retours des relecteurs et les résultats réels des produits. Vous travaillerez avec des données propriétaires et une équipe capable de mettre vos améliorations directement entre les mains des clients.
À propos du poste
En tant que membre de l'équipe technique spécialisé en Machine Learning, vous améliorerez les modèles, les représentations et les données qui alimentent les agents d'IA de Solstice dédiés à la création, à l'affinage et à la révision de contenu marketing pharmaceutique. Votre travail aidera les agents à trouver des preuves à l'appui, à utiliser les outils avec précision et à intégrer les retours des relecteurs pour obtenir de meilleurs résultats.
Vos missions
Vous enquêterez sur les échecs lors des exécutions complètes des agents, formulerez une hypothèse testable, mettrez en œuvre un changement et déterminerez s'il améliore la tâche du client. L'intervention pourrait consister en de meilleurs exemples d'entraînement, une amélioration de la recherche ou du classement, une stratégie de modèle ou de contexte différente, ou un réglage fin ciblé. Vous choisirez une approche basée sur des preuves et testerez sa qualité, sa fiabilité, sa latence et son coût avant de la mettre en production.
Vous travaillerez directement avec des ingénieurs en IA appliquée, qui sont responsables de la fonctionnalité et du flux de travail complets, et des ingénieurs Fullstack en IA, qui construisent l'environnement d'exécution partagé, les APIs et les expériences produit. Vous développerez ensemble des prototypes et des composants de production, avec une responsabilité principale sur les améliorations des modèles et des données, ainsi que sur les preuves de leur généralisation.
- Améliorer le comportement des modèles au sein des agents. Diagnostiquer les échecs dans la sélection des preuves, le choix des outils et des arguments, ainsi que les révisions basées sur les retours. Collaborer avec l'équipe d'IA appliquée pour distinguer les limitations des modèles ou des données des problèmes de contexte manquant, de défaillances d'outils ou de conception de flux de travail.
- Rendre la recherche et la mise en contexte plus précises. Développer et comparer des approches de recherche, de reclassement et de correspondance entre allégations et preuves à travers des documents scientifiques et du contenu approuvé. Mesurer si la preuve soutient réellement l'allégation et aide l'agent à accomplir la tâche.
- Transformer les exécutions des agents et les retours des relecteurs en données utiles. Construire des jeux de données organisés à partir d'exécutions réussies ou échouées, de corrections et d'exemples ciblés. Suivre la provenance, résoudre les étiquettes ambiguës et maintenir les cas d'évaluation mis de côté séparés de l'entraînement et du réglage.
- Mettre en œuvre et tester des améliorations substantielles. Comparer les choix de modèles, les représentations, les stratégies de contexte et les méthodes d'apprentissage avec des bases de référence crédibles et des expériences contrôlées. Utiliser un réglage fin ciblé ou d'autres adaptations de modèles lorsque les données et les résultats disponibles le justifient.
- Mesurer les résultats des tâches complètes. Évaluer le comportement intermédiaire des outils et l'artefact résultant. Vérifier la fiabilité des exécutions répétées et la généralisation à des documents inconnus et des variantes de tâches. Calibrer les jugements automatisés par rapport à la révision humaine et suivre la qualité parallèlement à la latence et au coût.
- Déployer les améliorations avec l'équipe produit. Intégrer les changements dans les services Python de production et les flux de travail des agents. Utiliser des données et des modèles versionnés, des versions échelonnées, une surveillance de la qualité et des critères de retour en arrière, puis vérifier si les gains observés hors ligne se confirment en utilisation réelle.
Profil recherché
- Solides fondamentaux en ML et compétences pratiques en mise en œuvre. Vous êtes capable de raisonner sur les objectifs d'apprentissage, l'optimisation, la régularisation, la qualité des données et la généralisation.
- Maîtrise de Python et expérience pratique dans la construction ou l'amélioration de systèmes LLM, de systèmes de recherche ou d'agents. Vous savez inspecter les traces d'appels d'outils, reproduire les échecs et mettre en œuvre l'expérience ou le changement de production nécessaire pour les étudier.
- Preuve de mise en production d'une amélioration de données ou de modèle et compréhension des résultats après le déploiement.
- Jugement expérimental solide : hypothèses explicites, comparaisons crédibles, bases de référence significatives et vigilance concernant les fuites de données, les étiquettes bruitées et les métriques globales trompeuses.
- Expertise approfondie dans au moins un domaine pertinent, tel que la recherche et le classement, l'apprentissage de représentations, l'adaptation de modèles ou l'apprentissage à partir de retours humains, avec la capacité d'appliquer cette expertise à des tâches d'agents multi-étapes.
- Capacité à identifier la source d'une défaillance. Vous savez expliquer quand modifier les données ou le modèle, quand améliorer le contexte ou l'interface d'un outil, et comment concevoir une comparaison qui distingue ces explications.
- Compétences pratiques en génie logiciel pour des expériences reproductibles, des composants testés, une intégration en production et le débogage.
- Communication claire et sens des responsabilités. Vous savez expliquer les compromis, travailler avec des partenaires produits et ingénierie, et aller jusqu'au bout lorsque les résultats remettent en question vos hypothèses.
Une expérience avec des documents scientifiques, des retours de révision humaine ou des produits d'entreprise réglementés est un atout. Une expérience dans le secteur de la santé ou de la pharmacie est appréciée mais non requise. Nous valorisons la mise en œuvre démontrée et le jugement expérimental ; un diplôme spécifique, un historique de publications ou la maîtrise d'un framework ne remplacent pas ces preuves.
Avantages
- Assurance santé, dentaire et optique
- Opportunité d'équité dès le départ
- Parrainage de visa pour les visas O-1, H-1B et TN
- Congés payés illimités
- 401(k) avec un abondement de l'entreprise de 4%
- Déjeuners au bureau cinq jours par semaine
- Indemnité de développement professionnel
- Aide à la relocalisation
Lieu et rémunération
New York City. Temps plein. Sur site.
La fourchette de salaire de base est de $200,000 à $300,000, plus équité, selon l'expérience et l'étendue des responsabilités. Il s'agit de la même bande de rémunération à NYC que pour notre rôle de membre de l'équipe technique (IA appliquée).
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil