Estados Unidos
Siemens
Bain & Company
Líder de Engenharia de IA, Avaliações e Integração de Sistemas
Estados Unidos
Warsaw, Masovian Voivodeship, Poland · London, England, United Kingdom · Chicago, Illinois, United States · Boston, Massachusetts, United States · São Paulo, Brazil
Python
Tradução automática. Consulte o original.
DESCRIÇÃO E REQUISITOS
O que nos torna um ótimo lugar para trabalhar
Temos orgulho de sermos consistentemente reconhecidos como um dos melhores lugares para trabalhar no mundo. Atualmente, somos a empresa de consultoria mais bem classificada na lista de Melhores Lugares para Trabalhar do Glassdoor e conquistamos o 1º lugar geral um recorde de sete vezes. Equipes extraordinárias estão no centro da nossa estratégia de negócios, mas isso não acontece por acaso. Exige um foco intencional em reunir uma ampla gama de origens, culturas, experiências, perspectivas e habilidades em um ambiente de trabalho solidário e inclusivo. Contratamos pessoas com talento excepcional e criamos um ambiente no qual cada indivíduo pode prosperar profissional e pessoalmente.
Com quem você trabalhará
Você fará parte de uma equipe que está construindo o conjunto integrado de ferramentas de decisão agentic da Bain, que oferece a grandes organizações inteligência contínua em suas decisões de crescimento mais importantes. A função está em uma interseção que poucas organizações podem oferecer: a profundidade analítica e o acesso ao cliente de uma consultoria de alto nível, a ambição técnica de uma empresa de produtos e o trabalho de engenharia na fronteira da IA aplicada.
Você trabalhará dentro da equipe de produto permanente da Bain, criando softwares que ajudam as maiores empresas do mundo a responder às perguntas que impulsionam seus negócios: onde investir, onde focar e como vencer. O impacto do que você constrói é direto e imediato, e a plataforma agrega valor a cada lançamento.
A plataforma possui duas camadas trabalhando juntas: um núcleo agentic e um conjunto de módulos de decisão, cada um resolvendo um problema comercial distinto. O ciclo de vida de construção está conectado ao mundo real: à medida que as equipes de projeto trabalham ao lado de clientes em diversos setores e geografias, esse feedback flui diretamente para a engenharia e para o produto. Cada interação com o cliente torna a plataforma mais inteligente, abrangente e resiliente.
Esta é uma startup dentro de uma empresa estabelecida. Você obtém propriedade genuína de estágio inicial e influência real sobre a arquitetura e a direção do produto, apoiado pela escala global, relacionamentos com clientes e compromisso de liderança da Bain; o ritmo de uma startup com a estrutura de uma empresa global.
Estamos procurando líderes de engenharia que saibam como tornar as avaliações da plataforma mais precisas e que tragam esse instinto para cada sprint sem que lhes seja pedido, e que se sintam confortáveis com problemas que não têm uma resposta conhecida. O trabalho envolve a construção de estruturas de avaliação para sistemas baseados em LLM e agentic, testes de integração de sistemas e problemas de dados sem uma resposta pronta. A experiência com sistemas agentic é importante: protocolos de ferramentas e contexto, como MCP, estruturas de avaliação e resolução de entidades em dados corporativos complexos. Esta é IA aplicada em produção, em escala, com usuários reais e uma equipe que depende de como você aborda problemas que não têm uma resposta conhecida. O campo está avançando rapidamente e a equipe foi criada para acompanhar, então a disposição para continuar aprendendo conta tanto quanto o que você já sabe.
Onde você se encaixará na equipe
O Líder de Engenharia de IA, Avaliações e Integração de Sistemas, é responsável pela estrutura de avaliação e pela camada de integração de sistemas em toda a plataforma Growth AI Performance System. Esta é uma função transversal: você não está avaliando um único agente ou um único módulo, mas a coerência, a qualidade e a confiabilidade de todo o sistema: desde a camada de ontologia de dados através do Agentic Core até os três módulos de produto que os clientes usam. Seu trabalho é o portão de qualidade que determina o que está pronto para ser lançado e o que não está.
Você trabalhará diretamente em três equipes: a equipe de Ontologia de Dados e Conhecimento, onde você avalia se a camada semântica está produzindo resultados precisos, consistentes e consumíveis por sistemas de IA downstream; a equipe de Agentic Core e Interface, onde você avalia se os fluxos de trabalho agentic estão sendo executados de forma confiável, raciocinando corretamente e falhando de maneira controlada; e a equipe de Plataforma e Segurança, onde você garante que a infraestrutura de avaliação e observabilidade seja robusta, compatível e integrada aos controles de segurança e auditoria da plataforma.
Você trabalhará em toda a plataforma e nos módulos de produto focados em ROI de marketing, marca e estratégia de preços, definindo o que é considerado bom para cada domínio, criando os conjuntos de dados de avaliação e rubricas que capturam isso, e aplicando padrões de prontidão para implantação de forma consistente em todos os três módulos antes que qualquer coisa chegue a um cliente real.
Esta função tem proximidade significativa com o cliente. Você se envolverá com equipes de consultoria após as implantações nos clientes para entender onde o sistema falhou, traduzir esse feedback em melhorias estruturadas de avaliação e apresentar descobertas de qualidade e confiabilidade aos principais stakeholders do cliente. A estrutura de avaliação que você constrói não é apenas uma ferramenta de engenharia interna: é parte do que faz os clientes confiarem no que a plataforma produz.
O que você fará
Design e propriedade da estrutura de avaliação
- Possuir e evoluir a estrutura de avaliação em toda a plataforma Growth AI Performance System, definindo padrões de qualidade, rubricas de pontuação, conjuntos de dados de avaliação e limites de prontidão para implantação para a camada de ontologia de dados, o Agentic Core e todos os três módulos de produto
- Projetar e manter conjuntos de dados de avaliação e suítes de testes de regressão que permitam a medição sistemática e reproduzível da qualidade do sistema em toda a full stack: desde a precisão do grafo de conhecimento e a correção da resolução de entidades até a confiabilidade do fluxo de trabalho agentic e a qualidade do resultado de ponta a ponta
- Definir o que significa 'bom o suficiente para implantar' em cada camada do sistema (camada semântica, orquestração agentic, pipelines de recuperação e resultados dos módulos de produto) e aplicar esses padrões de forma consistente antes que qualquer alteração chegue a um ambiente de cliente real
- Projetar experimentos para medir a qualidade do sistema, detectar regressões e identificar a causa raiz das falhas de qualidade; aplicar raciocínio estatístico e design experimental para distinguir o sinal do ruído nos resultados da avaliação
- Construir pipelines de avaliação automatizados que se integrem aos fluxos de trabalho de CI/CD para que os portões de qualidade sejam executados antes de cada implantação; garantir que a avaliação seja um processo contínuo, não um ponto de verificação pré-lançamento
Integração de sistemas e avaliação entre equipes
- Avaliar os pontos de integração entre a camada de ontologia de dados e o Agentic Core, validando se os resultados do grafo de conhecimento estão estruturados corretamente, semanticamente consistentes e consumíveis de forma confiável pelos sistemas de recuperação e raciocínio agentic
- Trabalhar com a equipe de Ontologia de Dados e Conhecimento para definir critérios de avaliação para a qualidade da resolução de entidades, consistência da taxonomia e correção do contrato de dados; construir os testes e o monitoramento que detectam falhas na camada de ontologia antes que se propaguem downstream
- Trabalhar com a equipe de Agentic Core e Interface para avaliar a orquestração multi-agente, a confiabilidade do uso de ferramentas, a passagem de contexto e a correção do fluxo de trabalho de ponta a ponta; definir taxonomias de modos de falha e garantir que o sistema degrade de forma controlada quando os componentes falharem
- Trabalhar com a equipe de Plataforma e Segurança para garantir que a infraestrutura de avaliação esteja integrada aos controles de segurança, logs de auditoria e requisitos de conformidade da plataforma; validar se os próprios pipelines de avaliação lidam corretamente com dados confidenciais do cliente
- Coordenar o trabalho de avaliação entre equipes de engenharia distribuídas; traduzir as descobertas da avaliação em melhorias de engenharia concretas e priorizadas e comunicar claramente o status da qualidade à liderança de produto e engenharia
Habilidades de comunicação com stakeholders internos
- Envolver-se com equipes de consultoria após implantações reais em clientes para entender onde os resultados do sistema falharam, rastreando falhas de qualidade através da estrutura de avaliação, identificando causas raiz e fornecendo descobertas estruturadas de volta às equipes de engenharia relevantes
- Apresentar descobertas de avaliação, métricas de qualidade e avaliações de confiabilidade do sistema para stakeholders seniores, incluindo a liderança executiva; traduzir medidas técnicas de qualidade em termos de negócios que expliquem no que a plataforma pode e não pode ser confiável
- Contribuir para o stakeholder interno onde a abordagem de avaliação e os padrões de qualidade da plataforma são explicados; construir confiança no rigor do processo de implantação da plataforma através de comunicação credível e baseada em evidências
- Manter-se atualizado com metodologias de avaliação emergentes, estruturas de avaliação de IA responsável e abordagens de risco e segurança específicas de IA; liderar o compartilhamento de conhecimento sobre as melhores práticas de avaliação em toda a equipe de engenharia
Requisitos mínimos
Sobre você
Técnico
- Experiência profunda em projetar e executar avaliações para sistemas de IA baseados em LLM e agentic em todo o ciclo de vida de entrega, com um histórico de construção de estruturas de avaliação que realmente mudam o que é lançado
- Forte compreensão da avaliação de integração de sistemas, capaz de projetar testes que validem não apenas componentes individuais, mas a correção e a coerência das interfaces entre eles, incluindo resultados de grafos de conhecimento, contratos de API e passagem de contexto agentic
- Proficiência forte em Python; experiência na construção de pipelines de avaliação automatizados, suítes de testes de regressão e rubricas de pontuação que se integram aos fluxos de trabalho de CI/CD e são executados sem intervenção manual
- Raciocínio estatístico e design experimental: capaz de projetar experimentos que meçam a qualidade do sistema com rigor, interpretar resultados sem superestimar o ruído e identificar causas raiz de falhas de qualidade para as equipes de engenharia
- Familiaridade com a avaliação de grafos de conhecimento e ontologias, entendendo o que a correção da resolução de entidades, a consistência da taxonomia e a qualidade da camada semântica significam na prática e como medi-las programaticamente
- Experiência com sistemas de anotação e feedback com humano no circuito (human-in-the-loop); familiaridade com aprendizado por preferência, estratégias de rotulagem de dados e metodologias de coleta de feedback para aplicações de LLM e agentic
- Compreensão dos requisitos de segurança, auditoria e conformidade para infraestrutura de avaliação: como lidar com dados confidenciais do cliente em pipelines de avaliação, o que as trilhas de auditoria precisam capturar e como a avaliação se integra aos controles de segurança da plataforma
- Fluência nativa em IA: uso ativo de ferramentas de codificação assistidas por IA (Cursor, Claude Code ou equivalente) e desenvolvimento contínuo demonstrado da metodologia de avaliação à medida que o campo evolui
- Compromisso demonstrado com práticas de IA responsável: avaliação de risco, avaliação de viés e justiça, princípios de segurança de IA e familiaridade com riscos específicos de IA, incluindo injeção de prompt, vazamento de dados e exploração de fluxo de trabalho agentic
Experiência
- 8 ou mais anos em engenharia de IA, engenharia de ML ou funções de IA aplicada com responsabilidades práticas significativas de construção
- Histórico de construção e propriedade de estruturas de avaliação para sistemas de IA ou ML em produção, não apenas contribuindo para a avaliação, mas definindo os padrões, construindo a infraestrutura e aplicando portões de implantação
- Experiência na avaliação de sistemas que abrangem múltiplos componentes e pontos de integração, não apenas avaliação em nível de modelo, mas avaliação em nível de sistema em pipelines de dados, APIs e fluxos de trabalho agentic
- Experiência trabalhando com ou ao lado de equipes de grafos de conhecimento, ontologia ou dados semânticos é uma vantagem forte
- Experiência direta no envolvimento com clientes ou stakeholders de negócios seniores em uma capacidade técnica, apresentando descobertas de qualidade, aconselhando sobre a confiabilidade do sistema ou contribuindo para a entrega voltada ao cliente
- Experiência trabalhando em ambientes ágeis, multifuncionais de produto ou adjacentes à consultoria; fortes habilidades de solução de problemas e análise de causa raiz
Educação
Diploma de tecnólogo / Bacharelado em ciência da computação, engenharia, matemática ou área técnica relacionada; ou uma combinação equivalente de educação, treinamento e experiência
Informações de remuneração nos EUA
A remuneração para esta função inclui salário base, bônus de desempenho discricionário anual, plano 401(k) com uma contribuição anual do empregador com base nos anos de serviço e o pacote de benefícios de primeira linha da Bain (detalhes listados abaixo).
Alguns governos locais nos Estados Unidos exigem que uma faixa salarial razoável e de boa fé seja incluída nas vagas de emprego para funções abertas. A remuneração anual estimada para esta função é a seguinte:
- Em Massachusetts, a faixa salarial anual de tempo integral razoável e de boa fé para esta função está entre $198,250 – $237,500; a colocação dentro desta faixa variará com base em vários fatores, incluindo, mas não se limitando a, experiência, educação, licenciamento/certificações, treinamento e nível de habilidade
- Em Illinois, a faixa salarial anual de tempo integral razoável e de boa fé para esta função está entre $189,500 – $227,000; a colocação dentro desta faixa variará com base em vários fatores, incluindo, mas não se limitando a, experiência, educação, licenciamento/certificações, treinamento e nível de habilidade
- Bônus de desempenho discricionário anual
- Esta função também pode ser elegível para outros elementos de remuneração discricionária
- Contribuição da empresa de 4.5% para o 401(k), que aumenta após 3 anos de serviço e é 100% adquirida na data de início
O programa abrangente de benefícios e bem-estar da Bain & Company foi projetado para ajudar os funcionários a alcançar independência pessoal, proteção e estabilidade nas áreas mais importantes para você e sua família.
- A Bain paga 100% dos prêmios individuais dos funcionários para programas médicos, odontológicos e de visão, oferecendo um dos planos médicos mais abrangentes para funcionários sem impactar seu contracheque
- Licença remunerada generosa, incluindo licença parental, licença médica e feriados remunerados
- Contribuição da empresa para o 401(k) totalmente adquirida
- Seguro de vida e invalidez de longo prazo pago
Para todos os outros locais, a faixa salarial anual de tempo integral razoável e de boa fé para esta função é compatível com as taxas de mercado geográficas competitivas para esta função e variará com base em vários fatores, incluindo, mas não se limitando a, experiência, educação, licenciamento/certificações, treinamento e nível de habilidade.
É ilegal em Massachusetts exigir ou administrar um teste de detector de mentiras como condição de emprego ou emprego contínuo. Um empregador que violar esta lei estará sujeito a penalidades criminais e responsabilidade civil.
INFORMAÇÕES GERAIS
Título do cargo Líder de Engenharia de IA, Avaliações e Integração de Sistemas
ID da vaga 111330
Áreas de trabalho Tecnologia e Engenharia
Tipo de emprego Permanente em tempo integral
Local(is) Boston, Chicago, Londres, São Paulo, Varsóvia
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil