Vereinigte Staaten
HEARTLAND BUSINESS SYSTEMS LLC
Fetch
Senior ML Operations Engineer II - Monetization
RemoteVereinigte Staaten
United States
PythonSQLKubernetesGoTerraform
Automatische Übersetzung. Prüfe das Original.
AUFGABENBEREICH
- Verantwortung für den gesamten Modell-Lebenszyklus von der Experimentierphase über Validierung, Bereitstellung, Versionierung und Retraining bis hin zu Rollback und Außerbetriebnahme.
- Etablierung klarer Kriterien für die Modellförderung, Release-Prozesse und Rollback-Pfade, die es Teams ermöglichen, Verbesserungen sicher bereitzustellen.
- Aufbau von Monitoring für Datenqualität, Drift, Vorhersagequalität, Service-Zuverlässigkeit, Latenz und Infrastrukturkosten.
- Zusammenarbeit mit Data Scientists zur Definition aussagekräftiger Offline- und Produktions-Evaluierungssignale, auch für Anwendungsfälle mit verzögerten Ergebnis-Labels.
- Nutzung von Produktionsdaten zur Verbesserung der Modellleistung, Plattformzuverlässigkeit, Bereitstellungsgeschwindigkeit und Infrastruktureffizienz.
- Aufbau wiederverwendbarer Trainings-, Evaluierungs- und Bereitstellungs-Pipelines, die mehrere Modelle und Modellierungsansätze unterstützen.
- Entwicklung zuverlässiger Orchestrierungs-Workflows für Abhängigkeiten, Zeitplanung, Wiederholungsversuche, Backfills und Fehlerbehebung.
- Übersetzung wissenschaftlicher Anforderungen in wartbare Produktionssysteme mit klaren Schnittstellen, Verantwortlichkeiten und operativen Erwartungen.
- Aufbau und Pflege eines zugänglichen Modell-Hubs, der Modelldokumentation, Evaluierungsergebnisse, Release-Historie, Versionierung und Monitoring miteinander verbindet.
- Erstellung getesteter CI/CD-Workflows, reproduzierbarer Umgebungen, umsetzbarer Alerts, Verfahren für die Reaktion auf Vorfälle und operativer Runbooks.
- Definition von MLOps-Prioritäten in Zusammenarbeit mit Data Science und Engineering, um Risiken zu identifizieren, bevor sie zu Produktionsproblemen werden.
- Etablierung wiederverwendbarer Engineering-Standards, Mentoring von Teammitgliedern und Reduzierung des operativen Aufwands für Data Scientists.
MINDESTANFORDERUNGEN
- 5+ Jahre Erfahrung in der Verwaltung von ML-Produktionssystemen über die erste Bereitstellung hinaus, einschließlich Monitoring, Retraining, Reaktion auf Vorfälle und kontinuierlicher Verbesserung.
- Fundierte Kenntnisse in der Softwareentwicklung für die Produktion in Python sowie fundierte Kenntnisse in SQL.
- Praktische Erfahrung im Einsatz von Spark für die verteilte Datenverarbeitung.
- Erfahrung mit einer Workflow-Orchestrierungs-Engine für Zeitplanung, Abhängigkeitsmanagement, Wiederholungsversuche, Backfills und Wiederherstellung.
- Praktische Erfahrung im Aufbau von Infrastruktur mit Terraform.
- Erfahrung in der Bereitstellung und dem Betrieb von containerisierten Produktions-Workloads auf Kubernetes.
- Erfahrung im Aufbau wiederverwendbarer Trainings-, Evaluierungs- oder Bereitstellungsinfrastrukturen, die von mehreren Modellen, Wissenschaftlern oder Teams genutzt werden.
- Erfahrung in der Implementierung von Modell- und Datensatz-Versionierung, Experiment-Tracking, Lineage und reproduzierbaren Releases.
- Fähigkeit, zwischen Service- oder Infrastrukturfehlern und Änderungen in der Modelleffektivität zu unterscheiden.
- Erfahrung im Aufbau von CI/CD-Pipelines, Monitoring, Alerting, Rollback-Mechanismen und Wiederherstellungsverfahren für ML-Produktionssysteme.
- Nachgewiesene Fähigkeit, Modellqualität, Bereitstellungsgeschwindigkeit, Zuverlässigkeit und Infrastrukturkosten in Einklang zu bringen.
- Starke funktionsübergreifende Kommunikationsfähigkeiten und Erfahrung in der Zusammenarbeit mit Data Scientists, um die wissenschaftliche Validität bei der Überführung von Modellen in die Produktion zu wahren.
- Fähigkeit, einen Produktionsvorfall oder ein Problem mit der Modellverschlechterung zu erklären, wie es erkannt wurde und welche Verbesserungen daraufhin erfolgten.
WÜNSCHENSWERTE ANFORDERUNGEN
- Erfahrung in der Entwicklung von Plattformdiensten, Infrastruktur oder internen Tools in Go.
- Erfahrung im Aufbau oder der Betreuung eines Modell-Registers, Modell-Hubs oder eines ähnlichen Systems, das von technischen und nicht-technischen Stakeholdern genutzt wird.
- Erfahrung in der Unterstützung von ML-Systemen, bei denen Ergebnis-Labels verzögert vorliegen oder die Modellqualität nicht sofort gemessen werden kann.
- Nachweisbare Erfolge bei der Verbesserung der Bereitstellungsgeschwindigkeit, Modellqualität, Systemzuverlässigkeit, Infrastrukturkosten oder des manuellen operativen Aufwands.
- Erfahrung im Design konfigurierbarer ML-Infrastruktur, die verschiedene Modellierungs-Frameworks oder -Ansätze unterstützt.
- Nachweis, dass wiederverwendbare Infrastruktur, Standards oder Dokumentationen teamübergreifend übernommen wurden.
- Erfahrung im Mentoring von Ingenieuren oder Data Scientists und in der Beeinflussung technischer Prioritäten innerhalb eines ML-Portfolios.
- Erfahrung in der Arbeit in Umgebungen mit sensiblen Informationen und im Design von Dokumentation oder Monitoring rund um angemessene Zugriffsbeschränkungen.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen