Cresta

12 de nov. de 2026

Engenheiro de Avaliação de Agentes de IA

Estados Unidos

Alberta, Canada · British Columbia, Canadá · Ontario, Canadá · United States

Python

Tradução automática. Consulte o original.

Sobre a oportunidade

A Cresta desbloqueia o verdadeiro potencial da experiência do cliente, transformando cada conversa em uma vantagem competitiva. A plataforma de IA unificada da Cresta combina agentes de IA conversacional, aumento de agentes humanos em tempo real e inteligência de conversação abrangente para impulsionar a receita e ganhos de eficiência em todos os canais. As empresas líderes mundiais, incluindo United Airlines, Cox Communications e Marriott, usam a Cresta para potencializar experiências de cliente de classe mundial todos os dias.

Nascida no Stanford AI Lab, a Cresta levantou mais de $270 milhões dos principais investidores do mundo, incluindo a16z, Greylock e Sequoia. A liderança da Cresta inclui algumas das mentes mais importantes em IA atualmente. Nosso CEO, Ping Wu, fundou e liderou as plataformas Contact Center AI e Vertex AI do Google antes de se juntar à Cresta para construir o futuro das experiências de cliente impulsionadas por IA.

Nos próximos anos, a IA redefinirá como as pessoas em todo o mundo interagem com as empresas diariamente. Venha construir esse futuro na Cresta.

Sobre a função

A Recepcionista de IA da Cresta atende o telefone para pequenas empresas que, de outra forma, perderiam a chamada. Ela lida com milhões de conversas por mês atualmente, garantindo que nenhuma chamada fique sem resposta e ajudando os proprietários a concluir as tarefas de front-office que mantêm seus negócios funcionando, e faz isso para centenas de clientes. Se essas conversas são realmente boas é a pergunta mais importante do negócio, e ela merece um responsável em tempo integral. Esse é você.

Como nosso primeiro Engenheiro de Avaliação de Agentes de IA, você define o que a qualidade significa para cada agente que operamos, constrói os sistemas que a medem em cada conversa e é a pessoa em quem a empresa confia quando a pergunta é: “quão bom é, realmente?”

O trabalho combina análise prática de conversas, design rigoroso de avaliação e execução de engenharia: ler e anotar conversas reais para aprender como o agente realmente falha, construir os sistemas de avaliação automatizados (juízes baseados em LLM, conjuntos de referência, suítes de regressão) que medem essas falhas em escala e manter esses sistemas honestos calibrando-os contra o julgamento humano. Corrigir o que você encontra é bem-vindo, mas não é o núcleo do trabalho; uma imagem precisa e priorizada da qualidade do agente é.

O que você fará

Design de Avaliação e Definição de Qualidade

Definir e manter a rubrica de avaliação para o agente em três eixos: adesão (seguiu seu design, chamou as ferramentas certas, respeitou as diretrizes), resultado (a conversa atingiu seu objetivo) e experiência de conversação (latência, alternância de turnos, tom, repetição).

Escrever as diretrizes de anotação e a taxonomia de falhas que a equipe usa para falar sobre falhas com precisão; realizar sessões de calibração e medir a concordância entre avaliadores.

Classificar e priorizar modos de falha por gravidade e frequência para que a engenharia e o produto trabalhem no que é mais importante.

Análise e Anotação de Conversas

Revisar conversas de produção manualmente todas as semanas, aproveitar parceiros de QA; codificar falhas, agrupá-las e transformar os grupos nas avaliações que valem a pena automatizar.

Rastrear cada falha até sua causa provável (prompt, lacuna de conhecimento, bug de ferramenta ou fluxo, reconhecimento de fala) e encaminhá-la ao proprietário certo com evidências suficientes para agir.

Avaliar em diferentes idiomas e relatar a qualidade por segmento (idioma, sotaque, qualidade de áudio, intenção), não apenas em agregado.

Sistemas de Avaliação Escaláveis

Construir e operar o pipeline de avaliação que pontua cada conversa de produção, combinando verificações automatizadas, juízes baseados em LLM e revisão humana.

Calibrar cada juiz automatizado contra rótulos humanos antes de confiar nele; tratar o erro do juiz como o principal risco de medição.

Projetar estratégias de amostragem (estratificadas por intenção, idioma, tipo de chamador, condições de áudio) para que as mudanças relatadas na qualidade sejam reais.

Construir e manter o conjunto de referência e a suíte de regressão contra os quais cada mudança de prompt, modelo, conhecimento e fluxo é validada antes do lançamento.

Cobertura e Casos de Borda

Manter o mapa de cobertura de modos de falha: quais comportamentos são testados, parcialmente testados ou não medidos; fechar as lacunas.

Projetar avaliações para comportamentos que nenhum sistema padrão cobre: tipos de conversas de alto risco, como transferências para um humano, manuseio de uso indevido e chamadores indesejados, e resiliência sob falhas upstream.

Definir os limites de qualidade e latência aos quais o agente está sujeito.

Relatórios e Colaboração Interfuncional

Relatar tendências de qualidade para partes interessadas internas e clientes de forma clara, com incertezas declaradas e sem esconder más notícias.

Fazer parceria com engenheiros de campo, engenheiros de backend, gerentes de produto e a equipe de engenharia de voz/idioma para transformar descobertas em recomendações priorizadas.

Documentar a metodologia para que os resultados sejam reproduzíveis e a prática de avaliação sobreviva a qualquer pessoa.

O que buscamos

3+ anos de experiência profissional em engenharia de software, ML aplicado ou funções de pesquisa intensiva em dados, incluindo pelo menos 1–2 anos trabalhando diretamente com sistemas baseados em LLM em produção.

Bacharelado ou Mestrado em Ciência da Computação, Linguística Computacional, Ciência Cognitiva, Estatística ou área relacionada, ou experiência prática equivalente.

Ter construído e operado um sistema de avaliação de ponta a ponta para um produto de LLM em produção (agente ou outro): rubrica, rótulos humanos, juiz automatizado, suíte de regressão.

Compreensão profunda da metodologia de avaliação: para que servem conjuntos de referência, juízes, suítes de regressão e calibração, e quando cada um falha. Agnóstico a ferramentas; você trabalhará em nossas ferramentas internas.

Fluência em como os agentes de LLM funcionam: prompts, chamadas de ferramentas, manipulação de contexto, estado de múltiplos turnos. Você consegue ler um rastreamento e dizer o que o agente estava fazendo e por quê.

Fortes habilidades de programação em Python e experiência com APIs de LLM; capaz de construir e entregar ferramentas de avaliação de forma independente. Ajuste fino (fine-tuning) e frameworks de ML não são necessários.

Capaz de escrever uma rubrica que avaliadores independentes pontuariam da mesma maneira, e medir se eles o fazem.

Capaz de projetar um teste a partir de uma pergunta de qualidade aberta: você decide o que medir e como, em vez de executar um plano predefinido.

Disposto a realizar trabalhos não escaláveis semanalmente, tanto você mesmo quanto direcionando nossos parceiros de QA: ouvir chamadas, rotular conversas, construir uma taxonomia de falhas do zero.

Fluência profissional em pelo menos um idioma além do inglês, suficiente para avaliar o comportamento do agente multilíngue diretamente.

Forte comunicação escrita; você é o autor das diretrizes que outros seguem.

Nota sobre nosso processo de contratação

Valorizamos muito seu tempo e habilidade técnica. Para garantir um processo simplificado e objetivo, a primeira etapa para candidatos qualificados após uma revisão inicial do currículo é uma avaliação técnica no CoderPad. Isso permite que você demonstre suas habilidades práticas de codificação e resolução de problemas em um ambiente do mundo real antes de passar para as rodadas de entrevistas conversacionais.

Remuneração na Cresta

A abordagem da Cresta em relação à remuneração é simples: reconhecer o impacto, recompensar a excelência e investir em nossas pessoas. Oferecemos pagamento competitivo baseado na localização que reflete o mercado e o que cada indivíduo traz para a mesa.

A faixa salarial base publicada representa o que esperamos pagar por esta função em uma determinada localização. As ofertas finais são moldadas por fatores como experiência, habilidades, educação e geografia. Além do salário base, a remuneração total inclui participação acionária (equity) e um pacote de benefícios abrangente para você e sua família.

Nosso uso de IA no recrutamento: Podemos usar ferramentas de IA em nosso processo de recrutamento, que exigem revisão e supervisão humana. Se você tiver dúvidas sobre nosso uso de IA ou desejar optar por não participar, entre em contato com [email protected] (se você estiver optando por não participar, use o assunto ‘Opt-Out’ em seu e-mail).

Gravação e transcrição por IA: Não autorizamos candidatos a gravar ou usar transcrição por IA de qualquer entrevista por telefone, aplicativo de anotações, óculos de IA ou outro dispositivo. Os candidatos podem solicitar uma exceção ou acomodação para revisão durante o processo de entrevista, conforme necessário.

Golpes de falsificação de recrutamento: Notamos um aumento nas falsificações de recrutamento em todo o setor, onde golpistas tentam acessar informações pessoais e financeiras dos candidatos por meio de entrevistas e ofertas falsas. Todas as comunicações por e-mail de recrutamento da Cresta virão sempre do domínio @cresta.ai. Qualquer contato alegando ser da Cresta por meio de outras fontes deve ser ignorado.

Benefícios e Vantagens

Oferecemos um pacote de benefícios abrangente e focado nas pessoas para apoiar você no trabalho e na vida:

Cobertura médica, odontológica e oftalmológica abrangente com planos para atender você e sua família

Folga remunerada (PTO) flexível para tirar o tempo que você precisa, quando precisar

Licença parental remunerada para todos os novos pais que recebem um novo filho

Plano de economia para aposentadoria para ajudar você a planejar o futuro

Orçamento para configuração de trabalho remoto para ajudar você a criar um escritório doméstico produtivo

Auxílio mensal de bem-estar e comunicação para manter você conectado e equilibrado

Programa de refeições no escritório e benefícios de transporte fornecidos para funcionários presenciais

Idiomas