Canadá
GoSecure
LawZero
Desarrollador Senior de Procesamiento de Datos de ML
Canadá
Montreal, Quebec, Canada
PythonDockerKubernetes
Traducción automática. Consulta el original.
Sobre la oportunidad
Buscamos un Desarrollador Senior de Procesamiento de Datos de ML
para participar en el desarrollo, curación y escalado de nuestro pipeline principal de activos de datos. Situado en la intersección de la ingeniería de datos, la curación de datos y el machine learning, serás responsable del pipeline de extremo a extremo que transforma datos brutos a escala web en conjuntos de datos de alta señal utilizados para entrenar al Científico IA.
En este puesto, no solo gestionarás datos; diseñarás su calidad. Diseñarás filtrado algorítmico, construirás mecánicas de puntuación basadas en modelos y asegurarás una rigurosa integridad de los benchmarks para potenciar la próxima generación de IA. Y a medida que nuestros modelos superen los paradigmas establecidos, diseñarás e implementarás transformaciones de datos novedosas para las que aún no existen manuales, trabajando en la vanguardia de lo que pueden ser los datos de entrenamiento.
Estamos contratando a varias personas para este puesto, y las responsabilidades pueden distribuirse entre el equipo según la experiencia, las habilidades y los intereses individuales.
RESPONSABILIDADES CLAVE
- Colaborar con el equipo de Investigación para definir, construir, automatizar, escalar y gestionar pipelines de datos que transformen datos brutos a escala web en conjuntos de datos de entrenamiento para el Científico IA.
- Construir y mantener pipelines de procesamiento de datos, incluyendo deduplicación, puntuación de calidad basada en modelos, filtrado heurístico, eliminación de toxicidad, limpieza de PII, extracción de metadatos y transformaciones de datos propietarias, con versionado completo del conjunto de datos y seguimiento de procedencia, optimizando el rendimiento y el coste a escala.
- Asegurar que todos los datos ingeridos cumplan con los requisitos de cumplimiento, las políticas internas de Gobernanza de Datos y las obligaciones legales.
- Desarrollar y refinar la cadena de herramientas de puntuación y filtrado: heurísticas, evaluadores basados en LLM como juez, clasificadores de ML, módulos de extracción de metadatos y flujos de trabajo de revisión humana necesarios para el procesamiento de datos y el aseguramiento de la calidad.
- Instrumentar los pipelines de procesamiento de datos con monitorización de la calidad de los datos, barreras de seguridad y alertas para detectar regresiones antes de que se propaguen aguas abajo.
- Colaborar con el equipo de Investigación y otros equipos para comprender los requisitos de datos en evolución, e identificar y adquirir corpus de texto a gran escala que cumplan dichos requisitos. Esto incluye realizar análisis sistemáticos de cobertura para identificar lagunas en el corpus y desarrollar estrategias de adquisición específicas para abordarlas, y trabajar con el Equipo Legal y de Gobernanza para licenciar nuevas fuentes de datos.
- Diseñar y mantener mecanismos estrictos de detección de fugas para proteger contra la contaminación de la evaluación en todas las etapas del pipeline de procesamiento de datos.
- Construir herramientas e interfaces internas que permitan a los investigadores explorar, consultar y comprender los conjuntos de datos disponibles con una fricción mínima.
HABILIDADES Y CUALIFICACIONES
- Título en informática, ingeniería de software o un campo relacionado.
- Trayectoria probada en el manejo de enormes conjuntos de datos de texto no estructurado (escala de billones de tokens), con más de 5 años de experiencia en procesamiento de datos, ingeniería de machine learning o Procesamiento del Lenguaje Natural (PLN).
- Experiencia práctica con frameworks de procesamiento distribuido (por ejemplo, Spark, Ray, Flink), diseñando y optimizando pipelines de alto rendimiento.
- Experiencia con implementación de privacidad de datos (limpieza de PII), filtrado de seguridad de contenido (toxicidad, sesgo) y prevención de contaminación de evaluación.
- Capacidad demostrada para trabajar en equipos de Investigación, Ingeniería y/o Legal/Gobernanza, traduciendo requisitos variados en trabajo concreto de pipeline.
- Sólida competencia en Python, incluyendo experiencia en la escritura de código de procesamiento de datos de calidad de producción.
- Experiencia con frameworks de orquestación de pipelines (por ejemplo, Airflow, Prefect, Dagster).
Agradable tener
- Experiencia en entrenamiento, ajuste fino o despliegue de modelos de ML para tareas de calidad de datos (clasificadores, evaluadores basados en LLM) y familiaridad con la optimización de inferencia de LLM (por ejemplo, vLLM, SGLang).
- Familiaridad con el despliegue en contenedores (Docker, Kubernetes) y prácticas de infraestructura como código.
- Familiaridad con herramientas de seguimiento de experimentos de ML (por ejemplo, Weights and Biases).
- Experiencia con flujos de trabajo de licencias de datos o adquisición de datos a escala web.
- Contribuciones a herramientas de procesamiento de datos o PLN de código abierto.
Acerca de LawZero
LawZero es una organización sin ánimo de lucro comprometida con el avance de la investigación y la creación de soluciones técnicas que permitan sistemas de IA seguros por diseño. Su dirección científica se basa en nuevas investigaciones y métodos propuestos por el Profesor Yoshua Bengio, el investigador de IA más citado del mundo. Con sede en Montreal, la investigación de LawZero tiene como objetivo construir IA no agentiva que aprenda principalmente a comprender el mundo en lugar de actuar en él, dando respuestas veraces a preguntas basadas en un razonamiento probabilístico transparente y externalizado. Dichos sistemas de IA podrían utilizarse para acelerar el descubrimiento científico, para supervisar sistemas de IA agentivos y para avanzar en la comprensión de los riesgos de la IA y cómo evitarlos. LawZero cree que la IA debe cultivarse como un bien público global, desarrollado y utilizado de forma segura hacia el florecimiento humano. Para más información, visite lawzero.org lawzero.org/
Perteneces aquí
En LawZero, la diversidad es importante para nosotros. Valoramos un entorno de trabajo justo, abierto y respetuoso con las diferencias. Damos la bienvenida a las solicitudes de personas altamente cualificadas interesadas en trabajar hacia nuestra misión en un entorno respetuoso, inclusivo y colaborativo.
Tu información personal será recopilada y procesada por LawZero para evaluar tu solicitud de empleo de conformidad con nuestra Política de Privacidad lawzero.org/en/website-privacy-notice. Según las leyes de privacidad vigentes en tu país de residencia, puedes tener varios derechos de privacidad, como solicitar acceso a tu información personal o solicitar que tu información personal sea rectificada o eliminada. Los detalles sobre cómo puedes ejercer tus derechos se encuentran en nuestra Política de Privacidad.
Más oportunidades con un solo perfil
¿Quieres optar a más puestos sin repetir todo el proceso? Crea tu perfil para que te encuentren las empresas que usan Nort.
Crear mi perfil