Vereinigte Staaten
Roku
Meta
Research Engineer - MSL FAIR Foundations
Vereinigte Staaten
Menlo Park, California, United States · New York, New York, United States · Seattle, Washington, United States
Python
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Meta sucht Research Engineers für das Team Evaluations innerhalb von Meta Superintelligence Labs.
Evaluationen sind der Kern des KI-Fortschritts bei MSL und bestimmen, welche Fähigkeiten entwickelt werden, welche Features priorisiert werden und wie schnell sich unsere Modelle verbessern.
Als Research Engineer in diesem Team kuratieren und erstellen Sie die Benchmarks für unsere fortschrittlichsten KI-Modelle, über Text, Vision, Audio und darüber hinaus.
Sie arbeiten eng mit Forschern und Ingenieuren von Weltrang zusammen, um neuartige Benchmarks und Reinforcement Learning-Umgebungen zu sammeln, zu entwickeln und bereitzustellen.
Dies ist eine hochtechnische Rolle, die solide Research Engineering-Fähigkeiten und die Fähigkeit erfordert, unabhängig an einer Vielzahl von offenen machine learning-Herausforderungen mit hoher Zuverlässigkeit zu arbeiten.
Die von Ihnen erstellten Evaluationen werden die Forschungsrichtung und wichtige Modelllinien innerhalb von MSL direkt beeinflussen, wodurch technische Zuverlässigkeit, Genauigkeit und Skalierbarkeit von größter Bedeutung sind.
Sie werden erfolgreich sein, indem Sie eine hohe Geschwindigkeit beibehalten und sich an sich schnell ändernde Prioritäten anpassen, während wir die technische Forschungsfront vorantreiben.
Sie müssen flexibel und anpassungsfähig sein und eine breite Palette von Problemen im Evaluationsbereich angehen, von der Implementierung bestehender Benchmarks bis zur Entwicklung neuartiger Benchmarks und Umgebungen bis hin zur Implementierung von Evaluationstools in großem Maßstab.
Wenn Sie leidenschaftlich daran interessiert sind, die Fähigkeiten zu definieren, die den KI-Fortschritt vorantreiben, und in schnelllebigen, wirkungsvollen Forschungsumgebungen gedeihen, ermutigen wir Sie, sich für diese spannende Gelegenheit im Kern von MSL zu bewerben.
Aufgaben
- Öffentlich verfügbare und interne Benchmarks kuratieren und integrieren, um die Fähigkeiten der Frontier-Modellentwicklung zu steuern
- Evaluationsumgebungen entwickeln und implementieren, einschließlich Umgebungen für neuartige Modellfähigkeiten und Modalitäten
- Mit externen Datenanbietern zusammenarbeiten, um hochwertige Evaluationsdatensätze zu beschaffen und vorzubereiten
- Die technische Vision von Wissenschaftlern umsetzen, die neue Benchmarks und Evaluationen entwerfen
- Robuste, wiederverwendbare Evaluationspipelines erstellen, die über mehrere Modelllinien und Produktbereiche hinweg skalierbar sind
- Zu Evaluationstools beitragen, die die Qualität und Zuverlässigkeit von Evaluationssuiten messen
Mindestanforderungen
- Bachelor-Abschluss in Informatik, Computer Engineering, einem relevanten technischen Bereich oder gleichwertige praktische Erfahrung
- 3+ Jahre Erfahrung im machine learning Engineering, in der machine learning-Forschung oder in einer verwandten technischen Rolle
- Beherrschung von Python und Erfahrung mit ML-Frameworks wie PyTorch
- Erfahrung in der Identifizierung, dem Design und der eigenständigen Fertigstellung von mittelgroßen bis großen technischen Features ohne Anleitung
- Nachgewiesene Erfahrung in Software-Engineering-Praktiken, einschließlich Versionskontrolle, Tests und Code-Review-Praktiken
- Fähigkeit, unabhängig zu arbeiten und sich schnell ändernden Prioritäten anzupassen
Bevorzugte Qualifikationen
- Publikationen auf begutachteten Konferenzen (NeurIPS, ICML, ICLR, ACL, EMNLP oder ähnlich) im Zusammenhang mit der Evaluierung von Sprachmodellen, Benchmarking oder deep learning
- Praktische Erfahrung mit Post-Training- und deep learning-Systemen für Sprachmodelle oder dem Aufbau von Reinforcement Learning-Umgebungen
- Erfahrung in der Implementierung oder Entwicklung von Evaluations-Benchmarks für große Sprachmodelle und multimodale Modelle (z. B. Vision-Sprache, Audio, Video)
- Erfahrung in der Arbeit mit großen verteilten Systemen und Datenpipelines
- Vertrautheit mit Frameworks und Metriken zur Evaluierung von Sprachmodellen
- Erfolgsbilanz bei Open-Source-Beiträgen zu ML-Evaluationstools oder Benchmarks
$154,003/Jahr bis $217,000/Jahr + Bonus + Aktienoptionen + Sozialleistungen
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen