Estados Unidos
Be Structured Technology Group
Inspira Financial
Engenheiro Principal de Operações de IA (Remoto)
Estados Unidos
Oak Brook, Illinois, United States
PythonSQL
Tradução automática. Consulte o original.
Sobre a oportunidade
O Engenheiro Principal de Operações de IA reporta-se ao Diretor Sênior do Centro de Excelência em IA, no Departamento de Tecnologia. Esta função define como os sistemas de IA na Inspira Financial são instrumentados, medidos, monitorados e comprovados, e impulsiona a adoção desses padrões em toda a empresa, abrangendo tanto capacidades de IA fornecidas por fornecedores quanto desenvolvidas internamente. As principais responsabilidades incluem a criação do padrão de telemetria e observabilidade corporativa para sistemas de IA; o design de estruturas de avaliação, detecção de desvio e guardrails de agentes; a tradução de estruturas de risco e conformidade de IA em controles operacionais e evidências de auditoria; a manutenção do inventário de sistemas de IA da empresa; e o treinamento de outras equipes de engenharia para adotar esses padrões de forma independente.
Deveres e Responsabilidades
- Definir o padrão de telemetria corporativa para sistemas de IA, cobrindo rastreamentos, prompts, chamadas de ferramentas, recuperação, tokens, latência e custo, construído sobre um esquema neutro em relação ao fornecedor, como as convenções semânticas de GenAI do OpenTelemetry.
- Construir a camada de registro e observabilidade que fornece ao Centro de Excelência em IA, unidades de negócios e ao Comitê de Governança de IA uma visão única da atividade de IA em aplicativos personalizados, plataformas de agentes e IA incorporada de fornecedores.
- Integrar a telemetria de IA com plataformas de agregação de logs corporativos, monitoramento de desempenho de aplicativos, monitoramento de segurança, alertas e resposta a incidentes para apoiar a visibilidade operacional, investigação e retenção para auditoria.
- Estabelecer padrões de retenção, redação, mascaramento e acesso para dados de conversação e rastreamento de IA que satisfaçam as obrigações de privacidade, retenção de registros e retenção legal.
- Publicar implementações de referência e kits iniciais para que as equipes que adotam o padrão de telemetria herdem um caminho funcional.
- Projetar a estrutura de avaliação para sistemas de IA, incluindo conjuntos de dados de referência (golden datasets), ambientes de avaliação offline, pontuação automatizada e por LLM-as-judge, e portões de regressão em CI.
- Definir critérios de desvio para cada classe de sistema de IA e construir a detecção para degradação da qualidade de saída, decaimento de recuperação, desvio de distribuição de entrada e atualizações silenciosas de modelos de provedores ou fornecedores.
- Construir guardrails de tempo de execução e imposição de limites para agentes, incluindo autorização de ferramentas e ações, limites de escopo e gastos, caminhos de escalonamento, gatilhos de intervenção humana (human-in-the-loop) e condições de parada rígida.
- Estabelecer o modelo de incidentes de IA, incluindo taxonomia de severidade, detecção, alertas, reversão (rollback), processo de post-mortem e conversão de incidentes em novos casos de teste.
- Traduzir o NIST AI RMF, ISO/IEC 42001, práticas de gestão de risco de modelos e obrigações aplicáveis de privacidade e manutenção de registros em controles operacionais que os engenheiros possam implementar.
- Construir a camada de evidências que automatiza a captura de artefatos necessários para auditoria interna, exame externo e due diligence de clientes.
- Integrar dados operacionais de IA com plataformas de governança, risco e conformidade para apoiar o monitoramento contínuo de controles, coleta automatizada de evidências, relatórios de risco e prontidão para auditoria.
- Manter o inventário operacional de IA em construções personalizadas, agentes, integrações e recursos de IA de fornecedores, incluindo um proprietário, classificação de risco e cobertura de controle para cada entrada.
- Definir o padrão de garantia para IA de fornecedores, incluindo telemetria necessária, atestados, detecção de mudanças nos modelos dos fornecedores e monitoramento compensatório.
- Construir estruturas de métricas conectando o uso de IA, qualidade, custo e postura de risco aos resultados de negócios, e reportar isso à liderança do CoE, líderes de unidades de negócios e ao Comitê de Governança de IA.
- Assumir a responsabilidade pela visibilidade e atribuição de custos de tokens e plataformas por equipe e caso de uso, e liderar o trabalho de otimização resultante.
- Conduzir sessões de trabalho, documentar padrões, revisar projetos e orientar equipes durante sua primeira implementação de IA totalmente instrumentada.
- Colaborar com Risco, Conformidade, Jurídico, Privacidade e Segurança para incorporar feedback da tríade de risco e garantir que medidas adequadas de detecção, resposta e mitigação estejam em vigor.
- Executar outras tarefas conforme designado.
Qualificações
Educação e Experiência
Mínimo exigido:
- Bacharelado em Engenharia ou Ciência da Computação
- 8 ou mais anos de experiência em engenharia orientada a telemetria, incluindo 2 anos operando LLM, ML ou sistemas agenticos em produção, com responsabilidade prática pela instrumentação e monitoramento.
Habilidades e Capacidades
- Proficiência de nível de produção em Python e SQL, incluindo a criação de ferramentas, pipelines e serviços dos quais outras equipes dependem.
- Experiência demonstrada em avaliação e observabilidade de IA, incluindo ambientes de avaliação (eval harnesses), rastreamento, pontuação, detecção de desvio e guardrails.
- Domínio de pelo menos uma estrutura de risco ou governança de IA, como NIST AI RMF, ISO/IEC 42001, EU AI Act ou práticas de gestão de risco de modelos, e a capacidade de convertê-las em controles e código.
- Experiência operando em um ambiente regulamentado onde o registro, retenção, evidência e controle de acesso são aplicados, e não apenas aspiracionais.
- Capacidade de influenciar sem autoridade formal entre equipes de engenharia, consultoria jurídica e partes interessadas executivas.
Outros Requisitos
- Capacidade de trabalhar ocasionalmente fora do horário comercial normal para cumprir prazos de projetos, conforme necessário.
- Períodos prolongados sentado em uma mesa e trabalhando em um computador.
- Certificações relevantes são um diferencial: Datadog Certified Professional, Google Cloud Professional Data Engineer for BigQuery ML, ou PagerDuty’s AI Ops
- Experiência em serviços financeiros, saúde, administração de benefícios ou outra indústria regulamentada é preferencial, particularmente em ambientes que lidam com PHI, PII ou dados fiduciários.
- Profundidade de conhecimento com plataformas de telemetria e práticas relacionadas de métricas e medição é preferencial.
- Experiência prática na integração e operação de plataformas corporativas para IA e observabilidade de aplicativos, registro centralizado, governança, risco, monitoramento contínuo de conformidade, inventário de sistemas de IA, avaliação e testes, gestão de incidentes e gestão de custos em nuvem é preferencial.
- Experiência em FinOps ou gestão de custos em nuvem aplicada a gastos com tokens e inferência é preferencial.
- Fluência em segurança de IA é preferencial, incluindo defesa contra injeção de prompt, categorias de risco de LLM e agentes da OWASP, red teaming, sandboxing de ferramentas e design de privilégio mínimo para identidades de agentes.
- Histórico de implementação de uma capacidade que outras equipes adotaram voluntariamente é preferencial.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil