Colorado, United States · Bangladesh · Brazil · Egypt · Ghana · India · Indonesia · Nigeria · Pakistan · Turkey · Vietnam
Traducción automática. Consulta el original.
Detalles de la oferta
Número total de posiciones: 40
01Compromisos Requeridos: Al menos 8 horas al día y 40 horas a la semana, con 4 horas de solapamiento con PST.
02Tipo de contratación: Asignación de contratista/freelance (sin baja médica/remunerada).
Descripción del puesto
01En este puesto, trabajarás en proyectos que mejoran y evalúan large language models mediante la creación de problemas matemáticos desafiantes, a nivel de competición, y evaluando rigurosamente el razonamiento del modelo.
02El candidato ideal tiene una sólida base en matemáticas de competición a nivel AIME, HMMT e IMO (Olimpiada) en los cuatro pilares clásicos: Álgebra, Teoría de Números, Combinatoria y Geometría.
03Deberías ser capaz de diseñar problemas novedosos, "a prueba de Google", destinados a exponer deficiencias profundas de razonamiento en modelos de última generación, y a diagnosticar con precisión dónde y por qué falla el razonamiento de un modelo.
04El puesto combina la creación de problemas originales, la redacción rigurosa de soluciones y la evaluación detallada de las respuestas generadas por el modelo.
05Esta es tu oportunidad para asegurar tu carrera en un mundo centrado en la IA trabajando en la vanguardia de la evaluación del razonamiento matemático.
Así es el día a día
01Diseñar problemas matemáticos originales y desafiantes de dificultad AIME, HMMT e IMO que pongan a prueba los límites de razonamiento de los modelos de lenguaje grandes en entornos abstractos y de múltiples pasos, extraídos estrictamente de Álgebra, Teoría de Números, Combinatoria o Geometría.
02Crear prompts novedosos que "rompan" los modelos evaluados, es decir, que el modelo llegue a una respuesta final incorrecta; asegurar que los problemas no puedan ser eludidos mediante métodos de fuerza bruta o computacionalmente intensivos.
03Resolver problemas de forma independiente y redactar soluciones detalladas, lógicamente estructuradas y autocontenidas con justificaciones claras, debidamente renderizadas en LaTeX.
04Revisar las soluciones generadas por el modelo, identificar errores matemáticos, falacias lógicas o argumentos faltantes, y diagnosticar la causa raíz utilizando categorías de fallo definidas (Respuesta Final, Pasos de Razonamiento, Seguimiento de Instrucciones).
05Contribuir a la definición de nuevos benchmarks de evaluación en planes de estudio de matemáticas a nivel de competición y olimpiada.
06Clasificar cada prompt con precisión por dominio, subdominio, tema y nivel de competencia dentro de la herramienta de etiquetado.
Requisitos
01Experiencia Matemática: Sólido dominio de las matemáticas de competición al nivel de AIME, HMMT e IMO en Álgebra, Teoría de Números, Combinatoria y Geometría.
02Competencia de Escritura: Excelente comunicación escrita estructurada, incluyendo fluidez con los delimitadores estándar de LaTeX para todas las expresiones matemáticas.
03Habilidades Analíticas: Sólidas habilidades de investigación y análisis, con capacidad para construir razonamientos rigurosos basados en pruebas.
04Pensamiento Creativo: Habilidades de pensamiento creativo y lateral para diseñar problemas novedosos que no estén adaptados de competiciones existentes o repositorios en línea.
05Habilidades de Feedback: Capacidad para proporcionar feedback constructivo, anotaciones precisas y diagnóstico de errores preciso sobre las salidas del modelo.
06Independencia: Automotivado y capaz de trabajar de forma independiente en un entorno remoto.
07Configuración Técnica: Configuración de escritorio/portátil con una buena conexión a internet.
Cualificaciones Preferidas
01Los candidatos que cursan o posean un título de Grado/Máster en Matemáticas, Matemáticas Aplicadas, Estadística, Ingeniería o un campo relacionado son elegibles y se les anima a postularse.
02La experiencia previa en matemáticas de competición (por ejemplo, Olimpiadas nacionales o internacionales o exámenes competitivos equivalentes) como participante, entrenador o creador de problemas es una ventaja.
03Capacidad para analizar y resolver problemas complejos con un enfoque estructurado y lógico y para expresar soluciones de forma clara y rigurosa.
Ventajas de ser Freelance
Trabaja en un entorno totalmente remoto.
Oportunidad de trabajar en proyectos de IA de vanguardia con empresas líderes en LLM.
Potencial de extensión del contrato basado en el rendimiento y las necesidades del proyecto.