Estados Unidos
Roku
Linda Werner & Associates
Especialista de Contenido III | Evaluación y Prompting de IA
Estados Unidos
United States
Traducción automática. Consulta el original.
Sobre la oportunidad
Buscamos un Especialista de Contenido III con experiencia para ayudar a evaluar, refinar y mejorar modelos y productos avanzados de IA.
En este puesto, trabajarás directamente con sistemas de IA en evolución, probando cómo responden en una amplia gama de temas y tipos de conversación, identificando dónde tienen éxito o fallan, y ayudando a dar forma a los prompts, los estándares de calidad y los marcos de evaluación que influyen en cómo se comunican y se comportan.
Esta es una oportunidad muy práctica para alguien que combine una sólida experiencia en redacción y contenido, curiosidad por la IA, juicio reflexivo y un ojo agudo para la calidad. Tu trabajo contribuirá directamente a mejorar las experiencias de productos de IA en el mundo real y el rendimiento de estos sistemas para los usuarios.
Qué Harás
- Probar nuevas versiones de modelos de IA en una variedad de temas, casos de uso y tipos de conversación
- Evaluar las respuestas del modelo según rúbricas, directrices y estándares de calidad establecidos
- Identificar y documentar ejemplos específicos de comportamiento exitoso y fallido del modelo
- Escribir y refinar prompts del sistema que ayuden a dar forma a la personalidad, el tono y el comportamiento del modelo
- Evaluar si las rúbricas de evaluación y los estándares de calidad miden eficazmente el rendimiento del modelo
- Realizar revisiones de calidad de las evaluaciones basadas tanto en humanos como en agentes para garantizar la precisión y el cumplimiento
- Realizar experimentos prácticos con modelos y productos de IA
- Investigar fallos del modelo y documentar los hallazgos de forma clara
- Aplicar instrucciones detalladas y criterios de evaluación de manera consistente en un alto volumen de trabajo
- Adaptarse rápidamente a medida que evolucionan las prioridades del producto, el comportamiento del modelo y las necesidades de evaluación
Habilidades Principales
- Evaluación de Modelos de IA
- Escritura y Refinamiento de Prompts
- Redacción y Edición
- Evaluación de Calidad Basada en Rúbricas
- Verificación de hechos y Juicio Analítico
Cualificaciones
- 5+ años de experiencia en redacción, edición, periodismo, producción, lingüística, STEM, codificación, política o otro campo temático relevante
- Título de Grado o experiencia equivalente
- Profunda experiencia en al menos un área temática con la capacidad de evaluar contenido como experto en la materia
- Sólido juicio y atención al detalle con la capacidad de aplicar consistentemente rúbricas detalladas, verificar información e identificar problemas de calidad
Experiencia Preferida
- Se prefiere 1+ año de experiencia práctica en IA, incluyendo prompting, anotación, evaluación o red teaming
- Experiencia en la evaluación de salidas de IA generativa o de modelos de lenguaje grandes
- Sólidas habilidades de verificación de hechos e investigación
- Capacidad para verificar afirmaciones contra fuentes originales
- Experiencia en la realización de investigaciones detalladas de fallos
- Habilidades claras de comunicación escrita y documentación
- Capacidad para señalar preguntas y bloqueos de forma temprana
- Cómodo con el cambio de prioridades a medida que cambian las necesidades del producto
Horario
Este equipo opera en un entorno de rápida evolución donde las prioridades pueden cambiar de un día para otro. Los candidatos exitosos se sentirán cómodos equilibrando calidad, velocidad, volumen y juicio independiente mientras siguen instrucciones detalladas.
Deberías disfrutar profundizando en los detalles, identificando diferencias sutiles en las respuestas de la IA, determinando por qué algo funciona o falla, y traduciendo esas observaciones en comentarios claros y accionables.
Ubicación: Estados Unidos (Remoto)
Tipo de puesto: Contrato de 6 Meses
Horas esperadas: 40 por semana
- Turno de 8 horas
- Lunes a Viernes
Pregunta de solicitud
¿Necesita o necesitará en el futuro algún patrocinio para trabajar en EE. UU.?
Idioma
Inglés (Requerido)
Beneficios
- Seguro dental
- Seguro médico
- Cuenta de ahorros para la salud
- Seguro de vida
- Tiempo libre remunerado
- Plan de jubilación
- Seguro de visión
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfilSigue explorando
Redwood Materials
CoreWeave
