Siemens
Apple
Ingénieur de recherche Machine Learning, Données de pré-entraînement — Modèles de fondation
À propos du poste
Apple révolutionne l'intelligence artificielle en développant des modèles de fondation sophistiqués qui alimentent des fonctionnalités intelligentes dans l'ensemble de notre écosystème de produits. Nous recherchons des ingénieurs Machine Learning qualifiés pour transformer la recherche de pointe en solutions d'IA évolutives et prêtes pour la production. Nous recherchons des ingénieurs passionnés par la création de systèmes qui repoussent les limites du deep learning en termes de mise à l'échelle, d'efficacité et de flexibilité, et qui ravissent des millions d'utilisateurs des produits Apple. L'équipe Modèles de fondation d'Apple construit la prochaine génération de grands modèles de langage qui alimentent des expériences intelligentes dans tous les produits Apple. Des données d'entraînement de haute qualité, diversifiées et évolutives sont fondamentales pour faire progresser les capacités des modèles en matière de connaissances, de raisonnement, de codage et de compréhension multilingue. Nous recherchons des ingénieurs de recherche talentueux et motivés pour faire progresser l'état de l'art dans la recherche et l'ingénierie des données de pré-entraînement. Dans ce rôle, vous développerez des algorithmes novateurs et des systèmes évolutifs pour la curation de données, l'évaluation de la qualité et l'optimisation, en travaillant en étroite collaboration avec les chercheurs en entraînement de modèles pour traduire des idées innovantes en améliorations mesurables des capacités des modèles de fondation. Ce poste offre une opportunité unique de travailler à l'intersection de la recherche de pointe en machine learning et de l'ingénierie système à grande échelle, avec un impact direct sur le développement des modèles de fondation de nouvelle génération.
DESCRIPTION
En tant qu'ingénieur de recherche au sein de l'équipe Données de pré-entraînement, vous serez responsable de projets techniquement exigeants couvrant la recherche, le développement d'algorithmes, l'expérimentation et l'ingénierie de production. Vous étudierez de nouvelles approches pour améliorer la qualité, la diversité et l'efficacité des données d'entraînement, tout en construisant une infrastructure robuste et évolutive pour prendre en charge le traitement de jeux de données massifs. Vous collaborerez étroitement avec les équipes d'entraînement de modèles pour comprendre la relation entre les données et les capacités des modèles, concevoir des expériences contrôlées et améliorer continuellement les stratégies de pré-entraînement.
QUALIFICATIONS MINIMALES
- Licence, Master ou Doctorat en informatique, Machine Learning ou dans un domaine technique connexe, ou expérience pratique équivalente.
- Solides compétences en programmation en Python et maîtrise du développement de logiciels de qualité production.
- Expérience du traitement de données à grande échelle, de l'informatique distribuée ou des systèmes de machine learning.
- Solide compréhension des fondamentaux du machine learning et des architectures modernes de deep learning.
- Solides compétences analytiques et de résolution de problèmes, avec la capacité d'étudier de manière indépendante des défis techniques complexes.
QUALIFICATIONS SOUHAITÉES
- Expérience du pré-entraînement LLM, de la recherche sur les données d'entraînement ou du développement de modèles de fondation.
- Expérience dans la conception et la mise en œuvre de pipelines de traitement de données évolutifs utilisant Spark, Ray ou des frameworks de calcul distribué similaires.
- Expérience pratique de PyTorch, de l'entraînement de modèles et de l'évaluation expérimentale.
- Connaissance du filtrage de données, de la déduplication, de l'optimisation du mélange de données et des signaux de qualité de données appris.
- Compréhension des lois d'échelle, de la dynamique d'entraînement et de la relation entre les données et les performances des modèles.
- Expérience de la génération de données synthétiques, de la sélection de données ou de l'évaluation de données basée sur des modèles.
- Capacité démontrée à traduire des idées de recherche en systèmes de production évolutifs.
- Publications ou contributions significatives à la recherche en machine learning ou à des projets open source.
