États-Unis
Redwood Materials
Elicit
Ingénieur en Comportement de Modèles, Raisonnement et Prise de Décision
À distanceÉtats-Unis
Oakland, California, United States
Python
Traduction automatique. Consultez l’original.
À propos d'Elicit
Elicit aide les équipes de recherche et commerciales à étudier des questions complexes et à prendre des décisions importantes fondées sur des preuves.
Notre ambition est de rendre le raisonnement de haute qualité en situation d'incertitude accessible à une échelle beaucoup plus grande dans des contextes où les enjeux sont élevés et les retours d'information rares. Nous construisons des systèmes d'IA dont le travail peut être inspecté, questionné et amélioré par les humains, afin que des IA de plus en plus capables nous rendent également plus sages.
Pourquoi nous recrutons pour ce poste
Certaines des questions les plus précieuses auxquelles les gens sont confrontés sont aussi les plus difficiles à résoudre. Quel programme de recherche une équipe devrait-elle faire avancer ? Quelles preuves changeraient ses priorités ? Quelle incertitude vaut-il la peine de résoudre avant de s'engager dans un essai de plusieurs années et de 100 millions de dollars ?
Les modèles actuels peuvent contribuer à ces décisions, mais ils omettent souvent une considération cruciale, font une hypothèse qu'ils auraient dû vérifier, ou inversent une recommandation trop rapidement lorsqu'ils sont confrontés à de nouvelles informations. De plus, comme ils peuvent effectuer une quantité croissante de travail de manière autonome, leur processus et leur raisonnement sont souvent peu lisibles, de sorte que les décideurs se méfient de leurs résultats. Aider à résoudre ces problèmes nécessite une compréhension approfondie des comportements des modèles, de ce qui compte pour différents types de décisions, des environnements et des cultures dans lesquels les décisions sont prises, et de la manière d'évaluer des systèmes complexes, multijoueurs, avec de nombreuses interactions humaines et d'agents.
Nous recherchons une personne pour prendre en charge ce travail : comprendre où nos systèmes échouent, développer des moyens de les évaluer et construire des améliorations qui aident les utilisateurs à prendre de meilleures décisions. Vous commencerez par des problèmes concrets en R&D scientifique et en stratégie commerciale, et développerez des approches qui s'appliqueront à différents types de décisions.
À propos du poste
Vous rejoindrez notre équipe d'ingénierie et reporterez à un responsable de l'ingénierie. Vous travaillerez au sein d'une équipe d'ingénierie interfonctionnelle, en collaborant étroitement avec d'autres ingénieurs, les équipes produit, design et les experts du domaine, en prenant les problèmes de l'investigation et de la conception expérimentale jusqu'à la mise en œuvre et l'utilisation dans le produit.
Le travail combine un raisonnement rigoureux, la capacité de plonger dans les spécificités du domaine et la conception logicielle. Vous concevrez des environnements d'agents et la manière dont les agents représentent les problèmes, recueillent des preuves, utilisent des outils, conservent le contexte, révisent leurs conclusions et se coordonnent entre eux. Vous prendrez également les décisions d'ingénierie qui nous permettront d'inspecter ces processus, de tester les changements et de construire sur ce qui fonctionne.
La majeure partie du travail initial impliquera des systèmes construits autour des modèles de pointe existants. L'entraînement ou le réglage fin peuvent être utiles pour des problèmes particuliers, mais la direction du travail suivra ce qui aide les utilisateurs à mieux raisonner.
Ce que vous gérerez
- Comprendre les décisions que nous aidons les gens à prendre. Examiner des cas réels avec les utilisateurs et les experts du domaine. Identifier leurs objectifs, leurs contraintes, les preuves disponibles et les inconnues importantes. Apprendre suffisamment sur un problème inconnu pour reconnaître quand une réponse manque le point.
- Définir et mesurer un bon raisonnement. Construire des évaluations pour des problèmes où le succès est initialement sous-spécifié. Combiner une inspection minutieuse des exemples, le jugement d'experts et l'analyse quantitative. Examiner si un meilleur score reflète une amélioration significative et si cette amélioration se maintient sur de nouveaux cas.
- Améliorer le comportement du système. Transformer les échecs observés en hypothèses que vous pouvez tester. Expérimenter avec la décomposition des problèmes, le contexte, les outils et les moyens pour les agents de rechercher des informations ou de vérifier leur travail. Suivre les résultats prometteurs jusqu'à des changements dont les utilisateurs peuvent bénéficier.
- Concevoir le logiciel qui rend ce travail fiable. Choisir des abstractions utiles, des structures de données et des limites de composants pour les flux de raisonnement et les évaluations. Faire des compromis délibérés entre simplicité, flexibilité, fiabilité, latence et coût. Construire des systèmes dont les défaillances, vous et vos coéquipiers, pouvez diagnostiquer.
- Assumer la responsabilité de la qualité de ce que vous livrez. Écrire du code maintenable, participer aux revues de conception et de code, et tester et surveiller vos changements. Travailler avec d'autres ingénieurs pour intégrer vos systèmes dans le produit et les améliorer au fur et à mesure que vous apprenez de l'utilisation réelle.
Exemples de projets
- Construire et évaluer un flux de travail qui aide une équipe de recherche à comparer des cibles protéiques potentielles qu'elle pourrait proposer pour le développement de médicaments, qui fonctionne à la lumière de leurs objectifs et cadres de décision, effectue des recherches lisibles par rapport à des théories de succès détaillées et testées sous contrainte, et reste à jour à la lumière de nouvelles découvertes.
- Examiner pourquoi un agent réagit de manière excessive à de nouvelles preuves introduites lors de la prévision des résultats d'essais cliniques. Créer une évaluation qui distingue les changements de jugement justifiés des changements incohérents, puis implémenter et tester une amélioration.
- Concevoir une représentation des preuves, des hypothèses et des questions non résolues qu'un agent peut mettre à jour à mesure qu'une décision d'acquisition d'un nouvel actif évolue, tout en préservant les informations nécessaires pour inspecter son travail.
- Améliorer la capacité d'un agent à remarquer le contexte manquant et à poser des questions utiles avant de faire une recommandation.
- Tester si une approche qui améliore les décisions de priorisation en R&D se transfère à la stratégie de développement commercial, et utiliser le résultat pour décider de ce qui appartient à un composant partagé.
Suis-je un bon candidat ?
Vous pourriez apprécier ce poste si vous vous retrouvez à vouloir résoudre des questions comme celles-ci :
- La recommandation d'un modèle semble convaincante pour les non-experts, mais un expert pense qu'elle est basée sur des approximations. Comment enquêteriez-vous sur le désaccord et transformeriez-vous ce que vous apprenez en une évaluation utile ?
- Un agent a acquis de nouvelles preuves. Comment l'agent devrait-il identifier quelles conclusions doivent être réexaminées, et comment testeriez-vous qu'il le fait correctement ? Comment cela évolue-t-il lorsque la quantité de preuves atteint des dizaines de milliers de documents ?
- Un flux de travail réussit sur une poignée d'exemples simples. Que faudrait-il apprendre avant de l'utiliser pour les clients, et quelles parties de l'implémentation changeriez-vous en premier ?
Vous n'avez pas besoin d'une réponse préparée. Nous aimerions comprendre comment vous abordez des problèmes comme ceux-ci, ce que vous construiriez et comment vous apprendriez si cela a fonctionné.
Lieu et déplacements
Nous avons un excellent bureau à Oakland, en Californie, et nous serions ravis de vous y voir si vous êtes de la région. Cela dit, nous sommes tout aussi heureux que vous travailliez à distance. Nous réunissons toute l'équipe pour une retraite trimestrielle dans un endroit sympa, car le temps passé en personne compte pour nous.
Rémunération
Pour tous les postes chez Elicit, nous utilisons un cadre de rémunération basé sur des données pour nous assurer que nos salaires sont compétitifs sur le marché, équitables et simples. Pour ce poste, nous ciblons des fourchettes de départ de :
- Carrière (L3): $185-220K + equity
- Senior (L4): $220-260K + equity
- Expert/Staff (L5): $250-320K + equity significative
Nous visons un candidat qui peut contribuer à un niveau L4/senior ou supérieur. Nous serions également ravis de rencontrer des contributeurs de niveau staff/principal.
Nous offrons également des actions supérieures au marché pour tous les postes chez Elicit, ainsi que des conditions d'actions favorables aux employés.
Ce que vous apportez au poste
- Pensée rigoureuse sur des problèmes ambigus. Vous pouvez rendre une question vague précise, identifier les hypothèses cachées, peser les preuves contradictoires et expliquer ce qui changerait votre opinion. Vous pouvez progresser tout en restant clair sur ce que vous ne savez pas. Cela peut provenir d'une variété d'expériences, comme la recherche originale en économie ou le développement d'approches de trading quantitatif dans des conditions contradictoires.
- Curiosité dans divers domaines et communication claire. Vous aimez vous familiariser avec des sujets inconnus, apprendre des spécialistes et expliquer votre raisonnement à des personnes ayant une expertise différente. Un bon signe est d'avoir exploité l'expertise du domaine dans plusieurs domaines scientifiques ou spécialités commerciales.
- Bonnes instincts expérimentaux. Vous pouvez concevoir un test utile lorsqu'il n'y a pas de référence établie, distinguer les preuves du bruit et reconnaître lorsque votre évaluation récompense un mauvais comportement. Vous êtes prêt à inspecter les échecs individuels en détail.
- La capacité de mettre en œuvre vos idées. Vous pouvez écrire et déboguer du code de manière indépendante, travailler avec des données et des APIs, et intégrer une expérience dans une base de code maintenue. Vous êtes à l'aise avec Python ou un langage comparable et prêt à travailler sur les parties pertinentes de notre pile technologique.
- Familiarité pratique avec les modèles de langage. Vous avez exploré leurs capacités et leurs limites suffisamment pour avoir des idées éclairées sur la façon de les améliorer. Vous pouvez choisir une approche en fonction du problème et la mettre à jour à mesure que les modèles changent.
- Solide jugement en ingénierie et en architecture. Vous pouvez concevoir un système cohérent, expliquer vos choix et reconnaître quand une abstraction aide ou ajoute une complexité inutile. Vous avez construit des logiciels que d'autres peuvent comprendre, utiliser et étendre. L'expérience peut provenir de produits, de systèmes de recherche ou d'autres projets techniques substantiels ; une expérience d'ingénierie full-stack n'est pas requise.
- Utilisation efficace des assistants de codage. Vous utilisez des outils d'IA pour augmenter ce que vous pouvez construire tout en assumant la responsabilité de comprendre la conception et de vérifier le résultat.
Nous accordons de l'importance aux preuves de ces capacités. Les projets substantiels, les expériences réfléchies et les explications claires des décisions techniques sont des moyens utiles de nous montrer comment vous travaillez.
Avantages et perks
En plus de travailler sur des problèmes importants au sein d'une équipe productive et positive, nous offrons également d'excellents avantages (avec quelques variations selon le lieu) :
- Environnement de travail flexible - travaillez depuis notre bureau à Oakland ou à distance tant que vous pouvez vous déplacer pour travailler en personne lors des retraites et des événements de coworking
- Assurance santé, dentaire, vision et vie entièrement couvertes pour vous, couverture généreuse pour le reste de votre famille (FSA/HSA également)
- Politique de vacances flexible, avec une recommandation minimale de 20 jours par an et de nombreuses jours fériés de l'entreprise
- Chaque Elician reçoit une allocation mensuelle de bien-être de $200 à dépenser pour tout ce qui soutient votre santé et votre bien-être.
- 401K avec une correspondance de l'employeur de 6%
- Un nouveau Mac + un budget de $1,000 pour aménager votre poste de travail ou votre bureau à domicile la première année, puis $500 chaque année par la suite
- Un budget trimestriel de $1,000 pour l'expérimentation et l'apprentissage de l'IA, afin que vous puissiez expérimenter librement de nouveaux outils d'IA à intégrer dans votre flux de travail, suivre des cours, acheter des ressources éducatives ou assister à des conférences et événements axés sur l'IA
- Un assistant administratif d'équipe qui peut vous aider dans vos tâches personnelles et professionnelles
Vous pouvez trouver plus de raisons de travailler avec nous dans ce fil de discussion !
Plus d’opportunités avec un seul profil
Vous souhaitez accéder à plus de postes sans répéter tout le processus ? Créez votre profil pour être trouvé par les entreprises utilisant Nort.
Créer mon profil