Brasil
Pentera
Jobgether
Ingeniero/a de Evaluación de IA
Brasil
Brazil
TypeScriptPythonGo
Traducción automática. Consulta el original.
Sobre la oportunidad
Este puesto se publica en nombre de una empresa asociada, que gestiona todas las solicitudes y los siguientes pasos. Nuestro socio busca un/a Ingeniero/a de Evaluación de IA con base en Brasil.
Cómo funciona Jobgether
Utilizamos un proceso de emparejamiento impulsado por IA para garantizar que tu solicitud se revise de forma rápida, objetiva y justa en comparación con los requisitos principales del puesto. Nuestro sistema identifica a los candidatos que mejor se ajustan y esta lista se comparte directamente con la empresa contratante. La decisión final y los siguientes pasos (entrevistas, evaluaciones) son gestionados por su equipo interno.
¡Agradecemos tu interés y te deseamos lo mejor!
¿Por qué solicitar a través de Jobgether?
Aviso de privacidad de datos: Al enviar tu solicitud, reconoces que Jobgether procesará tus datos personales para evaluar tu candidatura y compartir información relevante con el empleador contratante. Este procesamiento se basa en el interés legítimo y las medidas precontractuales en virtud de las leyes de protección de datos aplicables (incluido el RGPD). Puedes ejercer tus derechos (acceso, rectificación, supresión, oposición) en cualquier momento.
#LI-CL1
Como Ingeniero/a de Evaluación de IA fundador/a, diseñarás y construirás la infraestructura de evaluación, pruebas y observabilidad que garantiza que los agentes de IA de nivel de producción funcionen de manera fiable, segura y eficiente. Desarrollarás sistemas de pruebas automatizadas para razonamiento complejo, conversaciones multivuelta e interacciones de agentes que involucren APIs, bases de datos y ejecución de código. Trabajando en ingeniería de IA, pruebas de software e infraestructura, crearás canalizaciones de evaluación escalables que van más allá del control de calidad tradicional y las pruebas manuales de indicaciones. Establecerás pruebas de regresión sólidas, métodos de evaluación estadística y escenarios adversarios para identificar debilidades antes del despliegue. Esta es una oportunidad para asumir la propiedad de una arquitectura de evaluación desde cero mientras trabajas con tecnologías de IA modernas en un entorno totalmente remoto y distribuido globalmente. Tu trabajo contribuirá directamente a la fiabilidad, seguridad y mejora continua de los sistemas avanzados de IA.
Responsabilidades
- Diseñar, construir y mantener canalizaciones de pruebas automatizadas de CI/CD para validar el comportamiento del agente de IA antes del despliegue y durante todo el ciclo de vida del desarrollo.
- Desarrollar y mantener conjuntos de datos de referencia que contengan indicaciones de regresión, casos extremos y escenarios sintéticos para medir la precisión, seguridad, rendimiento y latencia del agente.
- Implementar comprobaciones de evaluación rápidas, rentables y deterministas antes de introducir enfoques de LLM-como-juez, incluida la validación de esquemas JSON, expresiones regulares, comprobaciones de estado de API y similitud de incrustaciones.
- Crear conjuntos de pruebas completos para conversaciones de agentes multivuelta, evaluando la retención de contexto, la consistencia del estado, el comportamiento de razonamiento y las salvaguardias contra bucles infinitos de llamadas a herramientas.
- Diseñar e implementar escenarios de pruebas adversarias para evaluar la resiliencia contra la inyección de indicaciones, entradas mal formadas, respuestas inesperadas de herramientas y otras posibles vulnerabilidades de seguridad.
- Construir marcos de evaluación estadística para medir el comportamiento no determinista de la IA utilizando tasas de aprobación en múltiples ejecuciones, intervalos de confianza y otras métricas cuantitativas de fiabilidad.
- Integrar flujos de trabajo de evaluación en GitHub Actions o sistemas de CI comparables utilizando ejecución a nivel de SDK y prácticas de pruebas automatizadas.
- Implementar soluciones de observabilidad y rastreo utilizando herramientas como OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave o plataformas equivalentes para monitorizar la ejecución del agente y diagnosticar fallos.
- Optimizar la eficiencia y el coste de la evaluación mediante el almacenamiento en caché, la simulación y otras técnicas que reduzcan las llamadas innecesarias a LLM API.
- Validar salidas estructuradas, incluidos esquemas JSON, especificaciones OpenAPI y cargas útiles de llamada a funciones, para garantizar que los agentes interactúen de forma fiable con sistemas externos.
- Evaluar y mejorar el rendimiento del agente bajo carga, teniendo en cuenta los tiempos de respuesta variables y el comportamiento no determinista de los puntos finales.
- Diseñar y poseer de forma independiente la arquitectura de evaluación, estableciendo mejores prácticas, estándares de pruebas y procesos escalables para el aseguramiento de la calidad continuo.
Requisitos
- Sólida competencia en Python o TypeScript, particularmente para pruebas de API, ejecución sin cabeza, programación asíncrona y sistemas de pruebas automatizadas.
- Experiencia práctica en la construcción de canalizaciones de evaluación de LLM, marcos de pruebas de IA o sistemas de pruebas estadísticas capaces de medir el rendimiento en ejecuciones repetidas.
- Experiencia en la integración de pruebas automatizadas en entornos de CI/CD, particularmente en GitHub Actions o plataformas similares, con ejecución a nivel de SDK.
- Sólida experiencia en la validación de datos y salidas estructuradas, incluidos esquemas JSON, especificaciones OpenAPI y cargas útiles de llamada a funciones.
- Familiaridad con herramientas de observabilidad y rastreo como OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave o soluciones de registro personalizadas.
- Capacidad para diseñar, implementar y mantener de forma independiente una arquitectura de evaluación desde cero, con un fuerte sentido de la propiedad y juicio técnico.
- Excelente inglés escrito y hablado, con la capacidad de comunicar hallazgos técnicos de forma clara en un equipo distribuido.
- Disponibilidad para coincidir con el horario comercial de la zona horaria central de EE. UU. durante al menos tres horas cada día.
- Experiencia con entornos aislados de ejecución de código o marcos de agentes de IA como LangChain, LlamaIndex, AutoGen o CrewAI.
- Sólida comprensión de los modelos de incrustación, bases de datos vectoriales y sus aplicaciones en la evaluación de IA y las pruebas basadas en similitudes.
- Experiencia en pruebas de carga de puntos finales no deterministas y evaluación del comportamiento del sistema bajo cargas de trabajo variables.
- Un enfoque proactivo y analítico para la resolución de problemas, con la capacidad de trabajar de forma independiente, adaptarse a tecnologías en evolución y mejorar continuamente las metodologías de prueba.
Beneficios
- Trabajo totalmente remoto: Trabaja desde cualquier lugar con una conexión a Internet fiable, con la flexibilidad de elegir tu zona horaria y horario de trabajo preferidos.
- Horario flexible: Organiza tu jornada laboral en torno a tu productividad manteniendo la superposición requerida con la hora central de EE. UU.
- Desarrollo profesional: Accede a formación remunerada y otras oportunidades para ampliar tus conocimientos técnicos y apoyar tu crecimiento profesional.
- Tecnología moderna: Trabaja con herramientas, marcos y prácticas de ingeniería de IA contemporáneos en un entorno que valora la innovación y la mejora continua.
- Oportunidades de proyectos constantes: Benefíciate de un flujo constante de trabajo de desarrollo de productos atractivo y desafiante.
- Reconocimiento del rendimiento: Un buen rendimiento y dedicación pueden ser recompensados con aumentos salariales anuales.
- Compensación negociable: Tu tarifa por hora inicial se determinará en función de tus habilidades, experiencia y cualificaciones.
- Acuerdo de contratista independiente: La compensación se basa en las horas trabajadas, con pagos mensuales mediante transferencia bancaria.
- Entorno de trabajo flexible: Disfruta de la autonomía para trabajar en un entorno que apoye tu concentración, independencia y desarrollo profesional.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil