Vereinigte Staaten
Temple Health
Solstice
Member of Technical Staff (ML)
Vereinigte Staaten
New York, New York, United States
Python
Automatische Übersetzung. Prüfe das Original.
Warum Sie bei uns einsteigen sollten
Solstice entwickelt KI-Software, die Teams in den Life Sciences dabei unterstützt, Marketinginhalte für Pharmazeutika zu erstellen, zu verfeinern und zu überprüfen. Wir haben mit führenden Herstellern aus dem Bereich Life Sciences und mehr als 50 Pharmamarken zusammengearbeitet. Zu unseren Geldgebern zählen Transformation Capital, Twelve Below, Virtue sowie die Gründer von Datavant, Commure und Paradigm.
Die technischen Herausforderungen sind konkret: Finden Sie die richtigen Belege in komplexen wissenschaftlichen Unterlagen, identifizieren Sie Aussagen präzise und verbessern Sie generierte Inhalte mithilfe von Feedback durch Prüfer sowie tatsächlichen Produktergebnissen. Sie arbeiten mit proprietären Daten und einem Team, das Ihre Verbesserungen direkt bei Kunden einsetzen kann.
Über die Rolle
Als Member of Technical Staff im Bereich Machine Learning verbessern Sie die Modelle, Repräsentationen und Daten, die die KI-Agenten von Solstice für die Erstellung, Verfeinerung und Überprüfung von Marketinginhalten für Pharmazeutika antreiben. Ihre Arbeit hilft den Agenten dabei, unterstützende Belege zu finden, Tools präzise einzusetzen und Feedback von Prüfern in bessere Ergebnisse einfließen zu lassen.
Ihre Aufgaben
Sie untersuchen Fehler über vollständige Agenten-Durchläufe hinweg, stellen eine testbare Hypothese auf, implementieren eine Änderung und stellen fest, ob diese die Aufgabe des Kunden verbessert. Die Intervention könnte in besseren Trainingsbeispielen, einer Verbesserung des Abrufs oder Rankings, einer anderen Modell- oder Kontextstrategie oder einem gezielten Fine-Tuning bestehen. Sie wählen einen Ansatz auf Basis von Nachweisen und testen dessen Qualität, Zuverlässigkeit, Latenz und Kosten, bevor Sie ihn in die Produktion überführen.
Sie arbeiten direkt mit Applied AI Engineers zusammen, die das vollständige Feature und den Workflow verantworten, sowie mit Fullstack AI Engineers, die die gemeinsame Laufzeitumgebung, APIs und Produkterlebnisse entwickeln. Sie erstellen gemeinsam Prototypen und Produktionskomponenten, wobei Sie die Hauptverantwortung für Modell- und Datenverbesserungen sowie die Nachweise für deren Generalisierbarkeit tragen.
- Verbesserung des Modellverhaltens innerhalb von Agenten. Diagnose von Fehlern bei der Auswahl von Belegen, der Tool-Wahl und Argumenten sowie Überarbeitungen auf Basis von Feedback. Zusammenarbeit mit Applied AI, um Modell- oder Datenbeschränkungen von fehlendem Kontext, Tool-Fehlern oder Problemen beim Workflow-Design zu unterscheiden.
- Präzisere Gestaltung von Retrieval und Grounding. Entwicklung und Vergleich von Ansätzen für Retrieval, Reranking und den Abgleich von Aussagen mit Belegen über wissenschaftliche Dokumente und genehmigte Inhalte hinweg. Messung, ob der Beleg die Aussage tatsächlich stützt und dem Agenten hilft, die Aufgabe zu erfüllen.
- Umwandlung von Agenten-Durchläufen und Prüfer-Feedback in nützliche Daten. Aufbau kuratierter Datensätze aus erfolgreichen und fehlgeschlagenen Durchläufen, Korrekturen und gezielten Beispielen. Nachverfolgung der Herkunft, Auflösung mehrdeutiger Labels und Trennung von Evaluation-Daten, die nicht für das Training und Tuning verwendet wurden.
- Implementierung und Test substanzieller Verbesserungen. Vergleich von Modellentscheidungen, Repräsentationen, Kontextstrategien und Lernmethoden mit glaubwürdigen Baselines und kontrollierten Experimenten. Einsatz von gezieltem Fine-Tuning oder anderen Modellanpassungen, wenn die verfügbaren Daten und Ergebnisse dies rechtfertigen.
- Messung der Ergebnisse bei vollständigen Aufgaben. Bewertung des intermediären Tool-Verhaltens und des resultierenden Artefakts. Überprüfung der Zuverlässigkeit bei wiederholten Durchläufen und der Generalisierung auf unbekannte Dokumente und Aufgabenvarianten. Kalibrierung automatisierter Urteile gegen menschliche Überprüfungen und Verfolgung der Qualität neben Latenz und Kosten.
- Bereitstellung von Verbesserungen mit dem Produktteam. Integration von Änderungen in produktive Python-Dienste und Agenten-Workflows. Verwendung versionierter Daten und Modelle, gestaffelte Releases, Qualitätsüberwachung und Kriterien für Rollbacks, um anschließend zu untersuchen, ob sich die offline erzielten Gewinne in der Praxis bewähren.
Was wir suchen
- Fundierte ML-Grundlagen und praktische Implementierungskompetenz. Sie können über Lernziele, Optimierung, Regularisierung, Datenqualität und Generalisierung argumentieren.
- Starke Python-Kenntnisse und praktische Erfahrung in der Entwicklung oder Verbesserung von LLM-Systemen, Retrieval-Systemen oder Agenten. Sie können Tool-Call-Traces untersuchen, Fehler reproduzieren und die für die Untersuchung erforderliche experimentelle oder produktive Änderung implementieren.
- Nachweis über die Überführung einer Daten- oder Modellverbesserung in die Produktion und Verständnis der Auswirkungen nach dem Deployment.
- Fundiertes experimentelles Urteilsvermögen: explizite Hypothesen, glaubwürdige Vergleiche, aussagekräftige Baselines und Sorgfalt bei Data Leakage, verrauschten Labels und irreführenden aggregierten Metriken.
- Vertiefte Kenntnisse in mindestens einem relevanten Bereich, wie z. B. Retrieval und Ranking, Representation Learning, Modellanpassung oder Lernen aus menschlichem Feedback, mit der Fähigkeit, diese Tiefe auf mehrstufige Agentenaufgaben anzuwenden.
- Urteilsvermögen hinsichtlich der Fehlerursache. Sie können erklären, wann Daten oder Modelle geändert werden sollten, wann der Kontext oder eine Tool-Schnittstelle verbessert werden muss und wie ein Vergleich zu gestalten ist, der diese Erklärungen unterscheidet.
- Praktische Software-Engineering-Fähigkeiten für reproduzierbare Experimente, getestete Komponenten, Produktionsintegration und Debugging.
- Klare Kommunikation und Eigenverantwortung. Sie können Kompromisse erklären, mit Produkt- und Engineering-Partnern zusammenarbeiten und am Ball bleiben, wenn Ergebnisse Ihre Annahmen infrage stellen.
Erfahrung mit wissenschaftlichen Dokumenten, Feedback aus menschlichen Überprüfungen oder regulierten Unternehmensprodukten ist von Vorteil. Erfahrung im Gesundheitswesen oder in der Pharmabranche ist willkommen, aber nicht erforderlich. Wir schätzen nachgewiesene Implementierungsstärke und experimentelles Urteilsvermögen; ein bestimmter Abschluss, eine Publikationsliste oder ein Framework sind kein Ersatz für diese Nachweise.
Benefits
- Kranken-, Zahn- und Augenversicherung
- Möglichkeit auf Anteile (Equity) von Anfang an
- Visa-Sponsoring für O-1-, H-1B- und TN-Visa
- Unbegrenzter bezahlter Urlaub (PTO)
- 401(k) mit einem Arbeitgeberzuschuss von 4%
- Mittagessen im Büro an fünf Tagen pro Woche
- Budget für berufliche Weiterbildung
- Unterstützung beim Umzug
Standort und Vergütung
New York City. Vollzeit. Vor Ort.
Das Grundgehalt liegt zwischen $200,000 und $300,000, zuzüglich Anteilen (Equity), abhängig von Erfahrung und Verantwortungsbereich. Dies entspricht dem gleichen NYC-Vergütungsband wie für unsere Rolle als Member of Technical Staff (Applied AI).
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen