Redwood Materials
Waymo
Ingénieur ML Staff, Performance et Efficacité des Modèles Génératifs
À propos du poste
Waymo est une entreprise de technologie de conduite autonome dont la mission est d'être le conducteur le plus fiable au monde. Depuis ses débuts en tant que projet de voiture autonome de Google en 2009, Waymo s'est concentrée sur la création du conducteur Waymo — Le conducteur le plus expérimenté au monde™ — pour améliorer l'accès à la mobilité tout en sauvant des milliers de vies perdues dans des accidents de la route. Le conducteur Waymo alimente le service de covoiturage entièrement autonome de Waymo et peut également être appliqué à une gamme de plateformes de véhicules et de cas d'utilisation de produits. Le conducteur Waymo a effectué plus de dix millions de trajets réservés par des passagers uniquement, grâce à son expérience de conduite autonome sur plus de 100 millions de miles sur les routes publiques et des dizaines de milliards en simulation à travers plus de 15 États américains.
Waymo est une entreprise de technologie de conduite autonome dont la mission est d'être le conducteur le plus fiable au monde. Depuis ses débuts en tant que projet de voiture autonome de Google en 2009, Waymo s'est concentrée sur la création du conducteur Waymo — Le conducteur le plus expérimenté au monde™ — pour améliorer l'accès à la mobilité tout en sauvant des milliers de vies perdues dans des accidents de la route. Le conducteur Waymo alimente le service de covoiturage entièrement autonome de Waymo et peut également être appliqué à une gamme de plateformes de véhicules et de cas d'utilisation de produits. Le conducteur Waymo a effectué plus de dix millions de trajets réservés par des passagers uniquement, grâce à son expérience de conduite autonome sur plus de 100 millions de miles sur les routes publiques et des dizaines de milliards en simulation à travers plus de 15 États américains.
L'équipe de simulation de Waymo crée des simulations de pointe d'environnements réalistes pour les tests, la formation et la validation du conducteur Waymo. Notre équipe est un groupe diversifié et collaboratif d'ingénieurs en machine learning (ML), d'ingénieurs logiciels et d'ingénieurs chercheurs en ML. Nous développons des solutions de simulation leaders de l'industrie en utilisant des algorithmes avancés de ML génératifs et reconstructifs, pour modéliser le monde réel, englobant des agents réalistes, des routes, des systèmes de trafic, la météo et la suite complète de capteurs (Caméra, Lidar, Radar).
Pour accélérer la fidélité, la scalabilité, la contrôlabilité et la richesse de nos simulations, nous repoussons les frontières de la modélisation du monde en 3D. Nous exploitons les technologies de ML de pointe entraînées sur des ensembles de données à grande échelle pour créer des mondes virtuels dynamiques et sémantiquement riches, impactant directement le développement et la validation du conducteur Waymo.
Dans ce rôle, vous rapporterez à un responsable senior de l'ingénierie Staff.
Vous allez
- Analyser les architectures de modèles et identifier les goulots d'étranglement dans les performances d'entraînement et d'inférence (par exemple, bande passante mémoire, calcul, communication).
- Appliquer et développer des techniques telles que la quantification (par exemple, FP8, INT4), l'élagage, la distillation de connaissances et les mécanismes d'attention efficaces.
- Optimiser le code du modèle pour des accélérateurs matériels spécifiques (TPU, GPU), en tirant parti des fonctionnalités du compilateur et des bibliothèques de bas niveau (par exemple, XLA).
- Expérimenter différentes stratégies de partitionnement et de sharding de modèles (par exemple, parallélisme de données, de tenseurs, de pipeline, parallélisme d'experts) pour améliorer la scalabilité et l'efficacité.
- Concevoir et implémenter des solutions de service à faible latence et à haut débit pour les modèles génératifs et optimiser les pipelines d'entraînement pour réduire le temps d'entraînement.
- Construire et maintenir des outils pour l'analyse des performances, le profilage (par exemple, xprof) et le débogage des modèles ML.
Vous avez
- Master ou Doctorat en Informatique, Machine Learning, Robotique, ou un domaine connexe.
- 5+ années d'expérience avec les architectures de deep learning (en particulier les Transformers, les modèles de diffusion, les MoE), les algorithmes et les techniques d'optimisation.
- Maîtrise de JAX, Flax, et potentiellement TensorFlow/PyTorch.
- Expertise dans l'utilisation d'outils de profilage (par exemple, XProf, Perfetto, NVIDIA Nsight) pour diagnostiquer les problèmes de performance dans les charges de travail ML.
- Expérience pratique de la quantification, de l'élagage, de la distillation et d'autres méthodes de compression de modèles.
- Solides compétences en programmation en Python et potentiellement en C++, avec une expérience des meilleures pratiques de développement logiciel.
Nous préférons
- Connaissance des architectures TPU et GPU et de la manière d'optimiser le code pour celles-ci.
- Familiarité avec les compilateurs ML comme XLA et compréhension de la manière dont ils traduisent le code de haut niveau en instructions matérielles efficaces.
- Compréhension des concepts liés à l'entraînement et au service de modèles sur plusieurs appareils et machines.
- Expérience de contribution à des frameworks et bibliothèques qui améliorent la vitesse et la scalabilité de l'entraînement (par exemple, JAX, Gemax, XManager).
La fourchette de salaire de base attendue pour ce poste à temps plein dans les différents lieux aux États-Unis est indiquée ci-dessous. La rémunération initiale réelle sera basée sur des facteurs liés au poste, y compris le lieu de travail exact, l'expérience, la formation et l'éducation pertinentes, et le niveau de compétence. Votre recruteur pourra vous fournir plus d'informations sur la fourchette de salaire spécifique pour le lieu du poste ou, si le poste peut être effectué à distance, sur la fourchette de salaire spécifique pour votre lieu préféré, au cours du processus d'embauche.
Fourchette de salaire $251,000—$310,000 USD
Les employés de Waymo sont également éligibles à participer au programme discrétionnaire de bonus annuel de Waymo, au plan d'incitation en actions et au généreux programme d'avantages sociaux de l'entreprise, sous réserve des conditions d'éligibilité.
