Estados Unidos
Temple Health
Solstice
Miembro del equipo técnico (ML)
Estados Unidos
New York, New York, United States
Python
Traducción automática. Consulta el original.
Por qué deberías unirte a nosotros
Solstice desarrolla software de IA que ayuda a los equipos de ciencias de la vida a crear, perfeccionar y revisar contenido de marketing farmacéutico. Hemos trabajado con fabricantes líderes en ciencias de la vida y más de 50 marcas farmacéuticas. Entre nuestros inversores se encuentran Transformation Capital, Twelve Below, Virtue y los fundadores de Datavant, Commure y Paradigm.
Los problemas técnicos son concretos: encontrar la evidencia adecuada en material científico complejo, identificar afirmaciones con precisión y mejorar el contenido generado utilizando los comentarios de los revisores y los resultados reales del producto. Trabajarás con datos propietarios y con un equipo capaz de poner tus mejoras frente a los clientes.
Sobre el puesto
Como miembro del equipo técnico en Machine Learning, mejorarás los modelos, las representaciones y los datos que impulsan los agentes de IA de Solstice para crear, perfeccionar y revisar contenido de marketing farmacéutico. Tu trabajo ayudará a los agentes a encontrar evidencia de respaldo, utilizar herramientas con precisión e incorporar los comentarios de los revisores para obtener mejores resultados.
En qué trabajarás
Investigarás fallos en ejecuciones completas de agentes, formularás una hipótesis comprobable, implementarás un cambio y determinarás si mejora la tarea del cliente. La intervención podría consistir en mejores ejemplos de entrenamiento, una mejora en la recuperación o clasificación, una estrategia de modelo o contexto diferente, o un ajuste fino específico. Elegirás un enfoque basado en evidencia y probarás su calidad, fiabilidad, latencia y coste antes de llevarlo a producción.
Trabajarás directamente con ingenieros de IA aplicada, que son responsables de la funcionalidad y el flujo de trabajo completos, y con ingenieros de IA Fullstack, que construyen el tiempo de ejecución compartido, APIs y las experiencias de producto. Construiréis prototipos y componentes de producción juntos, con la responsabilidad principal de las mejoras en modelos y datos, así como de la evidencia de que se generalizan.
- Mejorar el comportamiento del modelo dentro de los agentes. Diagnosticar fallos en la selección de evidencia, la elección de herramientas y argumentos, y las revisiones basadas en comentarios. Trabajar con IA aplicada para separar las limitaciones del modelo o los datos de la falta de contexto, fallos en las herramientas o problemas de diseño del flujo de trabajo.
- Hacer que la recuperación y la fundamentación sean más precisas. Desarrollar y comparar enfoques de recuperación, reclasificación y coincidencia de afirmaciones con evidencia en documentos científicos y contenido aprobado. Medir si la evidencia realmente respalda la afirmación y ayuda al agente a completar la tarea.
- Convertir las ejecuciones de agentes y los comentarios de los revisores en datos útiles. Crear conjuntos de datos seleccionados a partir de ejecuciones exitosas y fallidas, correcciones y ejemplos específicos. Realizar un seguimiento de la procedencia, resolver etiquetas ambiguas y mantener los casos de evaluación reservados separados del entrenamiento y el ajuste.
- Implementar y probar mejoras sustanciales. Comparar elecciones de modelos, representaciones, estrategias de contexto y métodos de aprendizaje con líneas base creíbles y experimentos controlados. Utilizar el ajuste fino específico u otra adaptación del modelo cuando los datos y resultados disponibles lo justifiquen.
- Medir los resultados de las tareas completas. Evaluar el comportamiento intermedio de las herramientas y el artefacto resultante. Comprobar la fiabilidad de las ejecuciones repetidas y la generalización a documentos desconocidos y variantes de tareas. Calibrar los juicios automatizados frente a la revisión humana y realizar un seguimiento de la calidad junto con la latencia y el coste.
- Lanzar mejoras con el equipo de producto. Integrar cambios en los servicios de Python de producción y en los flujos de trabajo de los agentes. Utilizar datos y modelos versionados, lanzamientos por etapas, monitorización de calidad y criterios de reversión, y luego investigar si las ganancias obtenidas fuera de línea se mantienen en el uso real.
Qué buscamos
- Sólidos fundamentos de ML y habilidades prácticas de implementación. Puedes razonar sobre objetivos de aprendizaje, optimización, regularización, calidad de datos y generalización.
- Sólido dominio de Python y experiencia práctica en la construcción o mejora de sistemas de LLM, sistemas de recuperación o agentes. Puedes inspeccionar trazas de llamadas a herramientas, reproducir fallos e implementar el experimento o cambio de producción necesario para investigarlos.
- Evidencia de haber llevado una mejora de datos o modelo a producción y comprender qué sucedió después del despliegue.
- Criterio experimental sólido: hipótesis explícitas, comparaciones creíbles, líneas base significativas y cuidado con las fugas de datos, etiquetas ruidosas y métricas agregadas engañosas.
- Profundidad en al menos un área relevante, como recuperación y clasificación, aprendizaje de representación, adaptación de modelos o aprendizaje a partir de retroalimentación humana, con la capacidad de aplicar esa profundidad a tareas de agentes de varios pasos.
- Criterio sobre el origen de un fallo. Puedes explicar cuándo cambiar los datos o el modelo, cuándo mejorar el contexto o la interfaz de una herramienta, y cómo diseñar una comparación que distinga esas explicaciones.
- Habilidades prácticas de ingeniería de software para experimentos reproducibles, componentes probados, integración en producción y depuración.
- Comunicación clara y sentido de propiedad personal. Puedes explicar las compensaciones, trabajar con socios de producto e ingeniería, y hacer un seguimiento cuando los resultados desafían tus suposiciones.
Es útil tener experiencia con documentos científicos, comentarios de revisión humana o productos empresariales regulados. Se valora la experiencia en salud o farmacia, aunque no es obligatoria. Valoramos la implementación demostrada y el criterio experimental; un título académico, un historial de publicaciones o un framework en particular no sustituyen esa evidencia.
Beneficios
- Seguro médico, dental y de visión
- Oportunidad de capital (equity) desde el inicio
- Patrocinio de visado para visados O-1, H-1B y TN
- Tiempo libre remunerado (PTO) ilimitado
- 401(k) con una contribución equivalente de la empresa del 4%
- Almuerzos en la oficina cinco días a la semana
- Estipendio para crecimiento profesional
- Apoyo para la reubicación
Ubicación y compensación
Nueva York. Tiempo completo. Presencial.
El rango de salario base es de $200,000 a $300,000, más capital (equity), dependiendo de la experiencia y el alcance de la responsabilidad. Esta es la misma banda de compensación en NYC que nuestro puesto de Miembro del equipo técnico (IA aplicada).
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil