Estados Unidos
Redwood Materials
Elicit
Engenheiro(a) de Comportamento de Modelos, Raciocínio e Tomada de Decisão
RemotoEstados Unidos
Oakland, California, United States
Python
Tradução automática. Consulte o original.
Sobre a Elicit
A Elicit ajuda equipes de pesquisa e negócios a investigar questões difíceis e a tomar decisões de alto risco com base em evidências.
Nossa ambição é tornar o raciocínio de alta qualidade sob incerteza disponível em uma escala muito maior em contextos onde os riscos são altos e o feedback é escasso. Estamos construindo sistemas de IA cujo trabalho as pessoas possam inspecionar, questionar e melhorar, para que uma IA cada vez mais capaz também nos torne mais sábios.
Por que estamos contratando para esta função
Algumas das perguntas mais valiosas que as pessoas enfrentam são também as mais difíceis de responder bem. Qual programa de pesquisa uma equipe deve promover? Que evidências mudariam suas prioridades? Qual incerteza vale a pena resolver antes de se comprometer com um ensaio de vários anos e $100 milhões de dólares?
Os modelos atuais podem contribuir para essas decisões, mas muitas vezes perdem uma consideração crucial, fazem uma suposição que deveriam ter verificado ou revertem uma recomendação muito rapidamente quando apresentados a novas informações. Além disso, como eles podem realizar uma quantidade crescente de trabalho autonomamente, seu processo e raciocínio são frequentemente pouco legíveis, de modo que os tomadores de decisão desconfiam em confiar em seus resultados. Ajudar com esses problemas requer um profundo entendimento dos comportamentos dos modelos, do que importa para diferentes tipos de decisões, dos ambientes e culturas em que as decisões são tomadas, e de como avaliar sistemas complexos e multijogador com muitas interações humanas e de agentes.
Estamos procurando alguém para ser responsável por este trabalho: entender onde nossos sistemas falham, desenvolver maneiras de avaliá-los e construir melhorias que ajudem os usuários a tomar melhores decisões. Você começará com problemas concretos em P&D científico e estratégia comercial, e desenvolverá abordagens que se aplicam a diferentes tipos de decisões.
Sobre a função
Você se juntará à nossa equipe de engenharia e se reportará a um Gerente de Engenharia. Você trabalhará em uma equipe de engenharia multifuncional, colaborando estreitamente com outros engenheiros, produto, design e especialistas de domínio, levando problemas desde a investigação e design experimental até a implementação e uso no produto.
O trabalho combina raciocínio cuidadoso, a capacidade de mergulhar em especificidades de domínio e design de software. Você projetará ambientes de agentes e como os agentes representam problemas, coletam evidências, usam ferramentas, retêm contexto, revisam suas conclusões e coordenam entre si. Você também tomará as decisões de engenharia que nos permitirão inspecionar esses processos, testar mudanças e construir sobre o que funciona.
A maior parte do trabalho inicial envolverá sistemas construídos em torno de modelos de ponta existentes. Treinamento ou ajuste fino podem ser úteis para problemas específicos, mas a direção do trabalho seguirá o que ajuda os usuários a raciocinar melhor.
O que você irá gerenciar
- Entenda as decisões que estamos ajudando as pessoas a tomar. Trabalhe em casos reais com usuários e especialistas de domínio. Identifique seus objetivos, restrições, evidências disponíveis e incógnitas importantes. Aprenda o suficiente sobre um problema desconhecido para reconhecer quando uma resposta não atinge o ponto.
- Defina e meça o bom raciocínio. Construa avaliações para problemas onde o sucesso é inicialmente subespecificado. Combine inspeção próxima de exemplos, julgamento de especialistas e análise quantitativa. Investigue se uma pontuação melhor reflete uma melhoria significativa e se essa melhoria se mantém em novos casos.
- Melhore o comportamento do sistema. Transforme falhas observadas em hipóteses que você possa testar. Experimente decomposição de problemas, contexto, ferramentas e maneiras para os agentes buscarem informações ou verificarem seu trabalho. Siga resultados promissores até mudanças que os usuários possam se beneficiar.
- Projete o software que torna este trabalho confiável. Escolha abstrações úteis, estruturas de dados e limites de componentes para fluxos de trabalho de raciocínio e avaliações. Faça trocas deliberadas entre simplicidade, flexibilidade, confiabilidade, latência e custo. Construa sistemas cujas falhas você e seus colegas de equipe possam diagnosticar.
- Seja responsável pela qualidade do que você entrega. Escreva código de fácil manutenção, participe de revisões de design e código, e teste e monitore suas mudanças. Trabalhe com outros engenheiros para integrar seus sistemas ao produto e melhorá-los à medida que você aprende com o uso real.
Projetos de exemplo
- Construa e avalie um fluxo de trabalho que ajude uma equipe de pesquisa a comparar alvos de proteínas potenciais que eles poderiam indicar para o desenvolvimento de medicamentos, funcione à luz de seus objetivos e estruturas de decisão, realize pesquisas legíveis contra teorias de sucesso detalhadas e testadas sob estresse, e se mantenha atualizado à luz de novas descobertas.
- Investigue por que um agente reage exageradamente a evidências recém-introduzidas ao prever resultados de ensaios clínicos. Crie uma avaliação que distinga mudanças justificadas de julgamento de inconsistentes, em seguida, implemente e teste uma melhoria.
- Projete uma representação de evidências, suposições e questões não resolvidas que um agente possa atualizar à medida que uma decisão de adquirir um novo ativo evolui, preservando as informações necessárias para inspecionar seu trabalho.
- Melhore a capacidade de um agente de notar contexto ausente e fazer perguntas úteis antes de fazer uma recomendação.
- Teste se uma abordagem que melhora as decisões de priorização de P&D se transfere para a estratégia de desenvolvimento de negócios e use o resultado para decidir o que pertence a um componente compartilhado.
Eu me encaixo?
Você pode gostar desta função se se encontrar querendo trabalhar em questões como estas:
- A recomendação de um modelo soa convincente para não especialistas, mas um especialista acha que é apoiada por 'slop'. Como você investigaria a discordância e transformaria o que aprende em uma avaliação útil?
- Um agente adquiriu novas evidências. Como o agente deve identificar quais conclusões precisam ser revisitadas, e como você testaria que ele faz isso corretamente? Como isso escala à medida que a quantidade de evidências cresce para dezenas de milhares de documentos?
- Um fluxo de trabalho tem sucesso em um punhado de exemplos simples. O que você precisaria aprender antes de usá-lo para clientes, e quais partes da implementação você mudaria primeiro?
Você não precisa de uma resposta ensaiada. Gostaríamos de entender como você aborda problemas como esses, o que você construiria e como você aprenderia se funcionou.
Localização e viagens
Temos um ótimo escritório em Oakland, CA, e adoraríamos vê-lo lá se você for local. Dito isso, estamos igualmente felizes por você trabalhar remotamente. Nós reunimos toda a equipe para um retiro trimestral em algum lugar divertido, porque o tempo presencial é importante para nós.
Remuneração
Para todas as funções na Elicit, usamos uma estrutura de remuneração baseada em dados para garantir que nossos salários sejam competitivos no mercado, equitativos e simples. Para esta função, estamos visando faixas iniciais de:
- Carreira (L3): $185-220K + equity
- Sênior (L4): $220-260K + equity
- Especialista/Staff (L5): $250-320K + equity significativa
Estamos otimizando para uma contratação que possa contribuir em um nível L4/sênior ou superior. Adoraríamos conhecer também contribuidores em nível de staff/principal.
Também oferecemos equity acima do mercado para todas as funções na Elicit, bem como termos de equity favoráveis aos funcionários.
O que você traz para a função
- Pensamento rigoroso sobre problemas ambíguos. Você pode tornar uma pergunta vaga precisa, identificar suposições ocultas, ponderar evidências conflitantes e explicar o que mudaria sua opinião. Você pode progredir permanecendo claro sobre o que não sabe. Isso pode vir de uma variedade de formações, como pesquisa original em economia ou desenvolvimento de abordagens de negociação quantitativa em condições adversas.
- Curiosidade em diversos domínios e comunicação clara. Você gosta de se aprofundar em assuntos desconhecidos, aprender com especialistas e explicar seu raciocínio para pessoas com diferentes conhecimentos. Um bom sinal é ter aproveitado a expertise de domínio em múltiplos domínios científicos ou especialidades de negócios.
- Bons instintos experimentais. Você pode criar um teste útil quando não há um benchmark estabelecido, distinguir evidências de ruído e reconhecer quando sua avaliação está recompensando o comportamento errado. Você está disposto a inspecionar falhas individuais em detalhes.
- A capacidade de implementar suas ideias. Você pode escrever e depurar código de forma independente, trabalhar com dados e APIs, e levar um experimento para uma base de código mantida. Você está confortável com Python ou uma linguagem comparável e disposto a trabalhar nas partes relevantes de nossa pilha.
- Familiaridade prática com modelos de linguagem. Você explorou suas capacidades e limitações o suficiente para ter ideias informadas sobre como melhorá-los. Você pode escolher uma abordagem com base no problema e atualizá-la à medida que os modelos mudam.
- Forte julgamento de engenharia e arquitetura. Você pode projetar um sistema coerente, explicar suas escolhas e reconhecer quando uma abstração ajuda ou adiciona complexidade desnecessária. Você construiu software que outros podem entender, usar e estender. A experiência pode vir de produtos, sistemas de pesquisa ou outros projetos técnicos substanciais; um background de engenharia full-stack não é necessário.
- Uso eficaz de assistentes de codificação. Você usa ferramentas de IA para aumentar o que pode construir, assumindo a responsabilidade de entender o design e verificar o resultado.
Nós nos importamos com evidências dessas habilidades. Projetos substanciais, experimentos ponderados e explicações claras de decisões técnicas são maneiras úteis de nos mostrar como você trabalha.
Benefícios e vantagens
Além de trabalhar em problemas importantes como parte de uma equipe produtiva e positiva, também oferecemos ótimos benefícios (com alguma variação dependendo da localização):
- Ambiente de trabalho flexível - trabalhe em nosso escritório em Oakland ou remotamente, desde que possa viajar para trabalhar presencialmente para retiros e eventos de coworking
- Seguro de saúde, odontológico, oftalmológico e de vida totalmente cobertos para você, cobertura generosa para o resto de sua família (FSA/HSA também)
- Política de férias flexível, com uma recomendação mínima de 20 dias/ano e muitos feriados da empresa
- Todo Elician recebe um subsídio mensal de bem-estar de $200 para gastar no que apoiar sua saúde e bem-estar.
- 401K com um match de empregador de 6%
- Um novo Mac + orçamento de $1.000 para configurar sua estação de trabalho ou home office em seu primeiro ano, depois $500 a cada ano subsequente
- $1.000 de orçamento trimestral para Experimentação e Aprendizagem em IA, para que você possa experimentar livremente novas ferramentas de IA para incorporar em seu fluxo de trabalho, fazer cursos, comprar recursos educacionais ou participar de conferências e eventos focados em IA
- Um assistente administrativo de equipe que pode ajudá-lo com tarefas pessoais e de trabalho
Você pode encontrar mais razões para trabalhar conosco neste tópico!
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil