Brasil
SONDA
Jobgether
Engenheiro(a) de Avaliação de IA
Brasil
Brazil
TypeScriptPythonGo
Tradução automática. Consulte o original.
Sobre a oportunidade
Esta vaga é publicada em nome de uma empresa parceira, que gerencia todas as candidaturas e próximos passos. Nossa parceira está buscando um(a) Engenheiro(a) de Avaliação de IA com base no Brasil.
Como funciona o Jobgether
Utilizamos um processo de correspondência com IA para garantir que sua candidatura seja avaliada de forma rápida, objetiva e justa em relação aos requisitos principais da vaga. Nosso sistema identifica os candidatos com maior compatibilidade, e essa lista é compartilhada diretamente com a empresa contratante. A decisão final e os próximos passos (entrevistas, avaliações) são gerenciados por sua equipe interna.
Agradecemos seu interesse e desejamos sucesso!
Por que se candidatar através do Jobgether?
Aviso de Privacidade de Dados: Ao enviar sua candidatura, você reconhece que o Jobgether processará seus dados pessoais para avaliar sua candidatura e compartilhar informações relevantes com o empregador contratante. Este processamento é baseado em interesse legítimo e medidas pré-contratuais sob as leis de proteção de dados aplicáveis (incluindo GDPR). Você pode exercer seus direitos (acesso, retificação, exclusão, objeção) a qualquer momento.
#LI-CL1
Como um(a) Engenheiro(a) de Avaliação de IA fundador(a), você projetará e construirá a infraestrutura de avaliação, testes e observabilidade que garante que os agentes de IA em produção funcionem de forma confiável, segura e eficiente. Você desenvolverá sistemas de teste automatizados para raciocínio complexo, conversas multi-turno e interações de agentes envolvendo APIs, bancos de dados e execução de código. Trabalhando em engenharia de IA, testes de software e infraestrutura, você criará pipelines de avaliação escaláveis que vão além do QA tradicional e testes manuais de prompt. Você estabelecerá testes de regressão robustos, métodos de avaliação estatística e cenários adversários para identificar fraquezas antes da implantação. Esta é uma oportunidade de assumir a propriedade de uma arquitetura de avaliação do zero, enquanto trabalha com tecnologias modernas de IA em um ambiente totalmente remoto e distribuído globalmente. Seu trabalho contribuirá diretamente para a confiabilidade, segurança e melhoria contínua de sistemas avançados de IA.
Responsabilidades
- Projetar, construir e manter pipelines de teste automatizados de CI/CD para validar o comportamento do agente de IA antes da implantação e ao longo do ciclo de desenvolvimento.
- Desenvolver e manter conjuntos de dados de referência contendo prompts de regressão, casos de borda e cenários sintéticos para medir a precisão, segurança, desempenho e latência do agente.
- Implementar verificações de avaliação rápidas, econômicas e determinísticas antes de introduzir abordagens de LLM-como-juiz, incluindo validação de esquema JSON, expressões regulares, verificações de status de API e similaridade de embeddings.
- Criar suítes de teste abrangentes para conversas de agentes multi-turno, avaliando retenção de contexto, consistência de estado, comportamento de raciocínio e salvaguardas contra loops infinitos de chamadas de ferramentas.
- Projetar e implementar cenários de teste adversários para avaliar a resiliência contra injeção de prompt, entradas malformadas, respostas inesperadas de ferramentas e outras vulnerabilidades de segurança potenciais.
- Construir frameworks de avaliação estatística para medir o comportamento não determinístico de IA usando taxas de aprovação em múltiplas execuções, intervalos de confiança e outras métricas quantitativas de confiabilidade.
- Integrar fluxos de trabalho de avaliação em Ações do GitHub ou sistemas de CI comparáveis usando execução em nível de SDK e práticas de teste automatizado.
- Implementar soluções de observabilidade e rastreamento usando ferramentas como OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave ou plataformas equivalentes para monitorar a execução do agente e diagnosticar falhas.
- Otimizar a eficiência e o custo da avaliação por meio de cache, mocking e outras técnicas que reduzem chamadas desnecessárias de LLM API.
- Validar saídas estruturadas, incluindo esquemas JSON, especificações OpenAPI e payloads de function-calling, para garantir que os agentes interajam de forma confiável com sistemas externos.
- Avaliar e melhorar o desempenho do agente sob carga, levando em conta tempos de resposta variáveis e comportamento não determinístico de endpoints.
- Projetar e ser o(a) proprietário(a) independente da arquitetura de avaliação, estabelecendo melhores práticas, padrões de teste e processos escaláveis para garantia de qualidade contínua.
Requisitos
- Forte proficiência em Python ou TypeScript, particularmente para testes de API, execução headless, programação assíncrona e sistemas de teste automatizados.
- Experiência prática na construção de pipelines de avaliação de LLM, frameworks de teste de IA ou sistemas de teste estatístico capazes de medir o desempenho em execuções repetidas.
- Experiência na integração de testes automatizados em ambientes de CI/CD, particularmente Ações do GitHub ou plataformas similares, com execução em nível de SDK.
- Forte expertise na validação de dados e saídas estruturadas, incluindo esquema JSON, especificações OpenAPI e payloads de function-calling.
- Familiaridade com ferramentas de observabilidade e rastreamento como OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave ou soluções de logging personalizadas.
- Capacidade de projetar, implementar e manter independentemente uma arquitetura de avaliação do zero, com forte senso de propriedade e julgamento técnico.
- Excelente inglês escrito e falado, com capacidade de comunicar descobertas técnicas de forma clara em uma equipe distribuída.
- Disponibilidade para ter pelo menos três horas de sobreposição com o horário comercial do Fuso Horário Central dos EUA todos os dias.
- Experiência com sandboxes de execução de código ou frameworks de agentes de IA como LangChain, LlamaIndex, AutoGen ou CrewAI.
- Forte compreensão de modelos de embedding, bancos de dados vetoriais e suas aplicações em avaliação de IA e testes baseados em similaridade.
- Experiência com testes de carga de endpoints não determinísticos e avaliação do comportamento do sistema sob cargas de trabalho variáveis.
- Uma abordagem proativa e analítica para resolução de problemas, com capacidade de trabalhar de forma independente, adaptar-se a tecnologias em evolução e melhorar continuamente as metodologias de teste.
Benefícios
- Trabalho totalmente remoto: Trabalhe de qualquer lugar com uma conexão de internet confiável, com a flexibilidade de escolher seu fuso horário e horários de trabalho preferidos.
- Horário flexível: Organize seu dia de trabalho em torno de sua produtividade, mantendo a sobreposição necessária com o Horário Central dos EUA.
- Desenvolvimento profissional: Acesse treinamento pago e outras oportunidades para expandir seu conhecimento técnico e apoiar seu crescimento na carreira.
- Tecnologia moderna: Trabalhe com ferramentas, frameworks e práticas de engenharia de IA contemporâneas em um ambiente que valoriza a inovação e a melhoria contínua.
- Oportunidades consistentes de projetos: Beneficie-se de um fluxo constante de trabalho de desenvolvimento de produtos envolvente e desafiador.
- Reconhecimento de desempenho: Forte desempenho e dedicação podem ser recompensados através de aumentos salariais anuais.
- Remuneração negociável: Sua taxa horária inicial será determinada com base em suas habilidades, experiência e qualificações.
- Contrato de prestador de serviços autônomo: A remuneração é baseada nas horas trabalhadas, com pagamentos mensais via transferência bancária.
- Ambiente de trabalho flexível: Desfrute da autonomia para trabalhar em um ambiente que apoia seu foco, independência e desenvolvimento profissional.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil