Estados Unidos
Be Structured Technology Group
Inspira Financial
Ingeniero Principal de Operaciones de IA (Remoto)
Estados Unidos
Oak Brook, Illinois, United States
PythonSQL
Traducción automática. Consulta el original.
Sobre la oportunidad
El Ingeniero Principal de Operaciones de IA reporta al Director Sénior del Centro de Excelencia de IA, dentro del Departamento de Tecnología. Este puesto define cómo se instrumentan, miden, supervisan y evidencian los sistemas de IA en Inspira Financial, e impulsa la adopción de dichos estándares en toda la empresa, abarcando tanto las capacidades de IA proporcionadas por proveedores como las desarrolladas internamente. Las funciones principales incluyen la creación del estándar empresarial de telemetría y observabilidad para sistemas de IA; el diseño de marcos de evaluación, detección de deriva y barreras de seguridad para agentes; la traducción de marcos de riesgo y cumplimiento de IA en controles operativos y evidencia de auditoría; el mantenimiento del inventario de sistemas de IA de la empresa; y la formación de otros equipos de ingeniería para que adopten estos estándares de forma independiente.
Funciones y responsabilidades
- Definir el estándar empresarial de telemetría para sistemas de IA, que cubra trazas, prompts, llamadas a herramientas, recuperación, tokens, latencia y costes, construido sobre un esquema neutral respecto al proveedor, como las convenciones semánticas de OpenTelemetry GenAI.
- Construir la capa de registro y observabilidad que proporcione al Centro de Excelencia de IA, a las unidades de negocio y al Comité de Gobernanza de IA una visión unificada de la actividad de IA en aplicaciones personalizadas, plataformas de agentes e IA integrada de proveedores.
- Integrar la telemetría de IA con plataformas de agregación de registros, monitorización del rendimiento de aplicaciones, monitorización de seguridad, alertas y respuesta a incidentes de la empresa para apoyar la visibilidad operativa, la investigación y la retención para auditorías.
- Establecer patrones de retención, redacción, enmascaramiento y acceso para datos de conversaciones y trazas de IA que cumplan con las obligaciones de privacidad, retención de registros y retención legal.
- Publicar implementaciones de referencia y kits de inicio para que los equipos que adopten el estándar de telemetría hereden una ruta de trabajo funcional.
- Diseñar el marco de evaluación para sistemas de IA, incluyendo conjuntos de datos de referencia, entornos de evaluación offline, puntuación automatizada y mediante LLM-as-judge, y puertas de regresión en CI.
- Definir criterios de deriva para cada clase de sistema de IA y construir mecanismos de detección para la degradación de la calidad de salida, la decadencia de la recuperación, el cambio en la distribución de entrada y las actualizaciones silenciosas de modelos por parte de proveedores.
- Construir barreras de seguridad en tiempo de ejecución y cumplimiento de límites para agentes, incluyendo autorización de herramientas y acciones, límites de alcance y gasto, rutas de escalada, activadores de intervención humana y condiciones de parada forzosa.
- Establecer el modelo de incidentes de IA, incluyendo taxonomía de gravedad, detección, alertas, reversión, proceso de post-mortem y conversión de incidentes en nuevos casos de prueba.
- Traducir el NIST AI RMF, ISO/IEC 42001, las prácticas de gestión de riesgos de modelos y las obligaciones aplicables de privacidad y mantenimiento de registros en controles operativos que los ingenieros puedan implementar.
- Construir la capa de evidencia que automatice la captura de artefactos necesarios para auditorías internas, exámenes externos y diligencia debida de clientes.
- Integrar datos operativos de IA con plataformas de gobernanza, riesgo y cumplimiento para apoyar la monitorización continua de controles, la recopilación automatizada de evidencia, la elaboración de informes de riesgo y la preparación para auditorías.
- Mantener el inventario operativo de IA en construcciones personalizadas, agentes, integraciones y funciones de IA de proveedores, incluyendo un propietario, clasificación de riesgo y cobertura de control para cada entrada.
- Definir el patrón de aseguramiento para la IA de proveedores, incluyendo telemetría requerida, certificaciones, detección de cambios en modelos de proveedores y monitorización compensatoria.
- Construir marcos de métricas que conecten el uso, la calidad, el coste y la postura de riesgo de la IA con los resultados de negocio, e informar de ello al liderazgo del CoE, a los líderes de las unidades de negocio y al Comité de Gobernanza de IA.
- Poseer la visibilidad y atribución de costes de tokens y plataformas por equipo y caso de uso, y liderar el trabajo de optimización resultante.
- Dirigir sesiones de trabajo, documentar patrones, revisar diseños y asesorar a los equipos durante su primera implementación de IA totalmente instrumentada.
- Colaborar con Riesgos, Cumplimiento, Legal, Privacidad y Seguridad para incorporar los comentarios de la tríada de riesgos y garantizar que existan medidas adecuadas de detección, respuesta y mitigación.
- Realizar otras tareas según se le asignen.
Cualificaciones
Educación y experiencia
Requisitos mínimos:
- Grado en Ingeniería o Informática
- 8 o más años de experiencia en ingeniería basada en telemetría, incluyendo 2 años operando LLM, ML o sistemas de agentes en producción, con propiedad práctica de la instrumentación y monitorización.
Habilidades y capacidades
- Competencia de nivel de producción en Python y SQL, incluyendo la creación de herramientas, pipelines y servicios de los que dependen otros equipos.
- Experiencia demostrada en evaluación y observabilidad de IA, incluyendo entornos de evaluación, rastreo, puntuación, detección de deriva y barreras de seguridad.
- Dominio de al menos un marco de riesgo o gobernanza de IA, como NIST AI RMF, ISO/IEC 42001, la Ley de IA de la UE o prácticas de gestión de riesgos de modelos, y la capacidad de convertirlo en controles y código.
- Experiencia operando en un entorno regulado donde el registro, la retención, la evidencia y el control de acceso se aplican de forma obligatoria y no solo como una aspiración.
- Capacidad para influir sin autoridad formal en equipos de ingeniería, asesoría legal y partes interesadas ejecutivas.
Otros requisitos
- Capacidad para trabajar ocasionalmente fuera del horario laboral habitual para cumplir con los plazos de los proyectos según sea necesario.
- Periodos prolongados sentado en un escritorio y trabajando con un ordenador.
- Las certificaciones relevantes son una ventaja: Datadog Certified Professional, Google Cloud Professional Data Engineer para BigQuery ML, o PagerDuty’s AI Ops
- Se prefiere experiencia en servicios financieros, atención sanitaria, administración de beneficios u otra industria regulada, particularmente en entornos que manejen PHI, PII o datos fiduciarios.
- Se prefiere un conocimiento profundo de plataformas de telemetría y prácticas relacionadas de métricas y medición.
- Se prefiere experiencia práctica en la integración y operación de plataformas empresariales para IA y observabilidad de aplicaciones, registro centralizado, gobernanza, riesgo, monitorización continua de cumplimiento, inventario de sistemas de IA, evaluación y pruebas, gestión de incidentes y gestión de costes en la nube.
- Se prefiere experiencia en FinOps o gestión de costes en la nube aplicada al gasto en tokens e inferencia.
- Se prefiere fluidez en seguridad de IA, incluyendo defensa contra inyección de prompts, categorías de riesgo de agentes y LLM de OWASP, red teaming, sandboxing de herramientas y diseño de privilegios mínimos para identidades de agentes.
- Se prefiere un historial de establecimiento de una capacidad que otros equipos adoptaron voluntariamente.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil