Estados Unidos
Siemens
Bain & Company
Líder de Ingeniería de IA, Evaluaciones e Integración de Sistemas
Estados Unidos
Warsaw, Masovian Voivodeship, Poland · London, England, United Kingdom · Chicago, Illinois, United States · Boston, Massachusetts, United States · São Paulo, Brazil
Python
Traducción automática. Consulta el original.
DESCRIPCIÓN Y REQUISITOS
Qué nos hace un gran lugar para trabajar
Estamos orgullosos de ser reconocidos constantemente como uno de los mejores lugares para trabajar en el mundo. Actualmente somos la firma de consultoría mejor clasificada en la lista de Mejores Lugares para Trabajar de Glassdoor y hemos obtenido el puesto número 1 en siete ocasiones, un récord. Los equipos extraordinarios son el corazón de nuestra estrategia de negocio, pero esto no sucede por casualidad. Requieren un enfoque intencional en reunir una amplia gama de antecedentes, culturas, experiencias, perspectivas y habilidades en un entorno de trabajo inclusivo y de apoyo. Contratamos personas con un talento excepcional y creamos un entorno en el que cada individuo puede prosperar profesional y personalmente.
Con quién trabajarás
Formarás parte de un equipo que construye el conjunto integrado de herramientas de toma de decisiones agentivas de Bain, que proporciona a las grandes organizaciones inteligencia permanente para sus decisiones de crecimiento más importantes. El puesto se sitúa en una intersección que pocas organizaciones pueden ofrecer: la profundidad analítica y el acceso a clientes de una consultora de primer nivel, la ambición técnica de una empresa de productos y el trabajo de ingeniería en la frontera de la IA aplicada.
Trabajarás dentro del equipo de producto permanente de Bain, creando software que ayuda a las empresas más grandes del mundo a responder a las preguntas que impulsan su negocio: dónde invertir, dónde enfocarse y cómo ganar. El impacto de lo que construyes es directo e inmediato, y la plataforma aumenta su valor con cada lanzamiento.
La plataforma tiene dos capas que trabajan juntas: un núcleo agentivo y un conjunto de módulos de decisión, cada uno de los cuales resuelve un problema comercial distinto. El ciclo de vida de construcción está conectado con el mundo real: a medida que los equipos de caso trabajan junto a los clientes en diversas industrias y geografías, esa retroalimentación fluye directamente de vuelta a la ingeniería y al producto. Cada compromiso con el cliente hace que la plataforma sea más inteligente, más amplia y más resistente.
Esto es una startup dentro de una empresa establecida. Obtienes una verdadera propiedad en etapa inicial y una influencia real sobre la arquitectura y la dirección del producto, respaldado por la escala global, las relaciones con los clientes y el compromiso de liderazgo de Bain; el ritmo de una startup con la trayectoria de una firma global.
Buscamos líderes de ingeniería que sepan cómo hacer que las evaluaciones de la plataforma sean más precisas y que aporten ese instinto a cada sprint sin que se les pida, y que se sientan cómodos con problemas que no tienen una respuesta conocida. El trabajo implica la creación de marcos de evaluación para sistemas agentivos y basados en LLM, pruebas de integración de sistemas y problemas de datos sin una respuesta estándar. La experiencia con sistemas agentivos es importante: protocolos de herramientas y contexto como MCP, arneses de evaluación y resolución de entidades en datos empresariales complejos. Se trata de IA aplicada en producción, a escala, con usuarios reales y un equipo que depende de cómo abordes los problemas que no tienen una respuesta conocida. El campo se mueve rápidamente y el equipo está diseñado para moverse con él, por lo que la voluntad de seguir aprendiendo cuenta tanto como lo que ya sabes.
Dónde encajarás dentro del equipo
El Líder de Ingeniería de IA, Evaluaciones e Integración de Sistemas, es responsable del marco de evaluación y la capa de integración de sistemas en toda la plataforma Growth AI Performance System. Este es un rol transversal: no estás evaluando un solo agente o un solo módulo, sino la coherencia, la calidad y la fiabilidad de todo el sistema: desde la capa de ontología de datos a través del Núcleo Agentivo hasta los tres módulos de producto que utilizan los clientes. Tu trabajo es el control de calidad que determina qué está listo para lanzarse y qué no.
Trabajarás directamente con tres equipos: el equipo de Ontología de Datos y Conocimiento, donde evaluarás si la capa semántica está produciendo resultados precisos, consistentes y consumibles por los sistemas de IA posteriores; el equipo de Núcleo Agentivo e Interfaz, donde evaluarás si los flujos de trabajo agentivos se ejecutan de manera fiable, razonan correctamente y fallan de forma controlada; y el equipo de Plataforma y Seguridad, donde te asegurarás de que la infraestructura de evaluación y observabilidad esté reforzada, sea conforme y esté integrada con los controles de seguridad y auditoría de la plataforma.
Trabajarás en los módulos de plataforma y producto centrados en el ROI de marketing, la marca y la estrategia de precios, definiendo qué constituye un buen resultado para cada dominio, creando los conjuntos de datos de evaluación y las rúbricas que lo capturan, y aplicando estándares de preparación para el despliegue de manera consistente en los tres módulos antes de que cualquier cosa llegue a un compromiso con un cliente real.
Este puesto tiene una proximidad significativa con el cliente. Te relacionarás con los equipos de consultoría después de los despliegues con clientes para entender dónde se quedó corto el sistema, traducir esa retroalimentación en mejoras de evaluación estructuradas y presentar los hallazgos de calidad y fiabilidad a las partes interesadas senior del cliente. El marco de evaluación que construyes no es solo una herramienta de ingeniería interna: es parte de lo que hace que los clientes confíen en lo que produce la plataforma.
Qué harás
Diseño y propiedad del marco de evaluación
- Poseer y desarrollar el marco de evaluación en toda la plataforma Growth AI Performance System, definiendo estándares de calidad, rúbricas de puntuación, conjuntos de datos de evaluación y umbrales de preparación para el despliegue para la capa de ontología de datos, el Núcleo Agentivo y los tres módulos de producto.
- Diseñar y mantener conjuntos de datos de evaluación y suites de pruebas de regresión que permitan una medición sistemática y reproducible de la calidad del sistema en todo el full stack: desde la precisión del grafo de conocimiento y la corrección de la resolución de entidades hasta la fiabilidad del flujo de trabajo agentivo y la calidad de los resultados de extremo a extremo.
- Definir qué significa 'suficientemente bueno para desplegar' en cada capa del sistema (capa semántica, orquestación agentiva, tuberías de recuperación y resultados de módulos de producto), y aplicar esos estándares de manera consistente antes de que cualquier cambio llegue a un entorno de cliente real.
- Diseñar experimentos para medir la calidad del sistema, detectar regresiones y descubrir la causa raíz de los fallos de calidad; aplicar razonamiento estadístico y diseño experimental para distinguir la señal del ruido en los resultados de la evaluación.
- Construir tuberías de evaluación automatizadas que se integren en los flujos de trabajo de CI/CD para que los controles de calidad se ejecuten antes de cada despliegue; asegurar que la evaluación sea un proceso continuo, no un punto de control previo al lanzamiento.
Integración de sistemas y evaluación entre equipos
- Evaluar los puntos de integración entre la capa de ontología de datos y el Núcleo Agentivo, validando que los resultados del grafo de conocimiento estén correctamente estructurados, sean semánticamente consistentes y consumibles de manera fiable por los sistemas de recuperación y razonamiento agentivos.
- Trabajar con el equipo de Ontología de Datos y Conocimiento para definir criterios de evaluación para la calidad de la resolución de entidades, la consistencia de la taxonomía y la corrección del contrato de datos; construir las pruebas y el monitoreo que detecten fallos en la capa de ontología antes de que se propaguen a los sistemas posteriores.
- Trabajar con el equipo de Núcleo Agentivo e Interfaz para evaluar la orquestación multi-agente, la fiabilidad del uso de herramientas, el paso de contexto y la corrección del flujo de trabajo de extremo a extremo; definir taxonomías de modos de fallo y asegurar que el sistema se degrade de forma controlada cuando los componentes fallen.
- Trabajar con el equipo de Plataforma y Seguridad para asegurar que la infraestructura de evaluación esté integrada con los controles de seguridad, el registro de auditoría y los requisitos de cumplimiento de la plataforma; validar que las propias tuberías de evaluación manejen correctamente los datos confidenciales del cliente.
- Coordinar el trabajo de evaluación entre equipos de ingeniería distribuidos; traducir los hallazgos de la evaluación en mejoras de ingeniería concretas y priorizadas y comunicar claramente el estado de la calidad al liderazgo de producto y de ingeniería.
Habilidades de comunicación con partes interesadas internas
- Relacionarse con los equipos de consultoría después de los despliegues con clientes para entender dónde se quedaron cortos los resultados del sistema, rastreando los fallos de calidad a través del marco de evaluación, identificando las causas raíz y enviando los hallazgos estructurados de vuelta a los equipos de ingeniería relevantes.
- Presentar los hallazgos de la evaluación, las métricas de calidad y las evaluaciones de fiabilidad del sistema a las partes interesadas senior, incluido el liderazgo ejecutivo; traducir las medidas de calidad técnica en términos de negocio que expliquen en qué se puede y en qué no se puede confiar de la plataforma.
- Contribuir a la comunicación con las partes interesadas internas donde se expliquen el enfoque de evaluación y los estándares de calidad de la plataforma; generar confianza en el rigor del proceso de despliegue de la plataforma a través de una comunicación creíble y basada en evidencia.
- Mantenerse al día con las metodologías de evaluación emergentes, los marcos de evaluación de IA responsable y los enfoques de riesgo y seguridad específicos de la IA; liderar el intercambio de conocimientos sobre las mejores prácticas de evaluación en todo el equipo de ingeniería.
Requisitos mínimos
Sobre ti
Técnico
- Profunda experiencia en el diseño y ejecución de evaluaciones para sistemas de IA agentivos y basados en LLM a lo largo de todo el ciclo de vida de entrega, con un historial de construcción de marcos de evaluación que realmente cambian lo que se lanza.
- Sólida comprensión de la evaluación de integración de sistemas, capaz de diseñar pruebas que validen no solo los componentes individuales, sino la corrección y coherencia de las interfaces entre ellos, incluidos los resultados del grafo de conocimiento, los contratos de API y el paso de contexto agentivo.
- Sólida competencia en Python; experiencia en la construcción de tuberías de evaluación automatizadas, suites de pruebas de regresión y rúbricas de puntuación que se integran en los flujos de trabajo de CI/CD y se ejecutan sin intervención manual.
- Razonamiento estadístico y diseño experimental: capaz de diseñar experimentos que midan la calidad del sistema con rigor, interpretar los resultados sin sobreinterpretar el ruido y exponer las causas raíz de los fallos de calidad a los equipos de ingeniería.
- Familiaridad con la evaluación de grafos de conocimiento y ontologías, entendiendo qué significan en la práctica la corrección de la resolución de entidades, la consistencia de la taxonomía y la calidad de la capa semántica, y cómo medirlas programáticamente.
- Experiencia con sistemas de anotación y retroalimentación con intervención humana; familiaridad con el aprendizaje de preferencias, estrategias de etiquetado de datos y metodologías de recolección de retroalimentación para aplicaciones agentivas y de LLM.
- Comprensión de los requisitos de seguridad, auditoría y cumplimiento para la infraestructura de evaluación: cómo manejar datos confidenciales del cliente en tuberías de evaluación, qué deben capturar las pistas de auditoría y cómo se integra la evaluación con los controles de seguridad de la plataforma.
- Fluidez nativa en IA: uso activo de herramientas de codificación asistidas por IA (Cursor, Claude Code o equivalente) y desarrollo continuo demostrado de la metodología de evaluación a medida que el campo evoluciona.
- Compromiso demostrado con las prácticas de IA responsable: evaluación de riesgos, evaluación de sesgos y equidad, principios de seguridad de la IA y familiaridad con los riesgos específicos de la IA, incluidos la inyección de prompts, la fuga de datos y la explotación de flujos de trabajo agentivos.
Experiencia
- 8 o más años en ingeniería de IA, ingeniería de ML o roles de IA aplicada con responsabilidades significativas de construcción práctica.
- Historial de construcción y propiedad de marcos de evaluación para sistemas de IA o ML en producción, no solo contribuyendo a la evaluación, sino definiendo los estándares, construyendo la infraestructura y aplicando controles de despliegue.
- Experiencia en la evaluación de sistemas que abarcan múltiples componentes y puntos de integración, no solo evaluación a nivel de modelo, sino evaluación a nivel de sistema en tuberías de datos, APIs y flujos de trabajo agentivos.
- La experiencia trabajando con o junto a equipos de grafos de conocimiento, ontologías o datos semánticos es una ventaja importante.
- Experiencia directa relacionándose con clientes o partes interesadas de negocio senior en una capacidad técnica, presentando hallazgos de calidad, asesorando sobre la fiabilidad del sistema o contribuyendo a la entrega orientada al cliente.
- Experiencia trabajando en entornos ágiles, multifuncionales de producto o adyacentes a la consultoría; sólidas habilidades de resolución de problemas y análisis de causa raíz.
Educación
Grado asociado / Grado universitario en informática, ingeniería, matemáticas o un campo técnico relacionado; o una combinación equivalente de educación, formación y experiencia.
Información sobre compensación en EE. UU.
La compensación para este puesto incluye salario base, bono anual discrecional por desempeño, plan 401(k) con una contribución anual del empleador basada en los años de servicio y el paquete de beneficios de primera clase de Bain (detalles listados a continuación).
Algunos gobiernos locales en los Estados Unidos requieren que se incluya un rango salarial razonable y de buena fe en las ofertas de empleo para puestos vacantes. La compensación anual estimada para este puesto es la siguiente:
- En Massachusetts, el rango salarial anual de buena fe y razonable a tiempo completo para este puesto es de entre $198,250 – $237,500; la ubicación dentro de este rango variará según varios factores, incluidos, entre otros, la experiencia, la educación, la licencia/certificaciones, la formación y el nivel de habilidad.
- En Illinois, el rango salarial anual de buena fe y razonable a tiempo completo para este puesto es de entre $189,500 – $227,000; la ubicación dentro de este rango variará según varios factores, incluidos, entre otros, la experiencia, la educación, la licencia/certificaciones, la formación y el nivel de habilidad.
- Bono anual discrecional por desempeño
- Este puesto también puede ser elegible para otros elementos de compensación discrecional
- Contribución de la empresa al 401(k) del 4.5%, que aumenta después de 3 años de servicio y está consolidada al 100% desde la fecha de inicio
El programa integral de beneficios y bienestar de Bain & Company está diseñado para ayudar a los empleados a lograr independencia personal, protección y estabilidad en las áreas más importantes para ti y tu familia.
- Bain paga el 100% de las primas individuales de los empleados para programas médicos, dentales y de visión, ofreciendo uno de los planes médicos más completos para los empleados sin afectar tu salario
- Generoso tiempo libre remunerado, que incluye licencia parental, licencia por enfermedad y días festivos pagados
- Contribución de la empresa al 401(k) totalmente consolidada
- Seguro de vida y discapacidad a largo plazo pagado
Para todas las demás ubicaciones, el rango salarial anual de buena fe y razonable a tiempo completo para este puesto es acorde con las tasas competitivas del mercado geográfico para este puesto y variará según varios factores, incluidos, entre otros, la experiencia, la educación, la licencia/certificaciones, la formación y el nivel de habilidad.
Es ilegal en Massachusetts exigir o administrar una prueba de detector de mentiras como condición de empleo o empleo continuo. Un empleador que viole esta ley estará sujeto a sanciones penales y responsabilidad civil.
INFORMACIÓN GENERAL
Título del puesto Líder de Ingeniería de IA, Evaluaciones e Integración de Sistemas
ID del puesto 111330
Áreas de trabajo Tecnología e Ingeniería
Tipo de empleo Permanente a tiempo completo
Ubicación(es) Boston, Chicago, Londres, São Paulo, Varsovia
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil