Bunge
Anyone AI
Evaluador de calidad – Inglés fluido (Brasil)
Sobre la oportunidad
Evaluador de calidad – Inglés
Ayuda a dar forma al futuro de la IA evaluando y comparando las respuestas de modelos de IA avanzados.
Sobre el puesto
En Anyone AI, creamos datos de entrenamiento y evaluación de alta calidad para modelos de IA de vanguardia.
Buscamos expertos con fluidez en inglés, sólidas habilidades de redacción, pensamiento crítico y amplia experiencia práctica en el uso de modelos de lenguaje de gran tamaño (LLMs).
En este puesto, interactuarás directamente con modelos de IA y compararás sus respuestas lado a lado para determinar cuál satisface mejor las necesidades del usuario. Tus evaluaciones y explicaciones escritas ayudarán a mejorar la precisión, utilidad y fiabilidad de los sistemas de IA.
Ubicación: Remoto
Tipo: Contratista independiente / Tiempo parcial
Compromiso: hasta 3 meses
Compensación: $7-$12/hora
Lo que harás
- Interactuar con diferentes modelos y herramientas de IA a través de una amplia gama de prompts y temas.
- Comparar dos o más respuestas generadas por IA lado a lado.
- Evaluar la precisión, utilidad, seguimiento de instrucciones, claridad y calidad general de la respuesta.
- Seguir directrices de calificación detalladas y flujos de trabajo de evaluación de varios pasos.
- Escribir explicaciones claras y bien fundamentadas que respalden tus decisiones de evaluación.
- Aplicar los criterios de evaluación de manera consistente en todas las tareas.
Requisitos mínimos
Lo que buscamos
- Fluidez en inglés, con sólidas habilidades de comprensión lectora y redacción.
- Amplia experiencia práctica en el uso de LLMs y en la evaluación crítica de sus resultados.
- Sólido juicio analítico y capacidad para sopesar múltiples dimensiones de la calidad de las respuestas.
- Excelente atención al detalle y capacidad para seguir instrucciones complejas cuidadosamente.
- Capacidad para explicar las decisiones de evaluación de forma clara y convincente.
- Comodidad al cambiar entre modelos de IA, herramientas y flujos de trabajo de varios pasos.
Se valorará
- Experiencia previa en evaluación de respuestas de IA, anotación de datos o control de calidad.
- Experiencia en edición, investigación, verificación de hechos o redacción analítica.
- Familiaridad con rúbricas de evaluación y tareas de comparación lado a lado.
