Canadá
TSMC
LawZero
Desenvolvedor Sênior de Processamento de Dados com ML
Canadá
Montreal, Quebec, Canada
PythonDockerKubernetes
Tradução automática. Consulte o original.
Sobre a oportunidade
Estamos buscando um Desenvolvedor Sênior de Processamento de Dados com ML
para participar do desenvolvimento, curadoria e escalonamento de nosso pipeline principal de ativos de dados. Posicionado na intersecção de engenharia de dados, curadoria de dados e machine learning, você será o responsável pelo pipeline de ponta a ponta que transforma dados brutos em escala web em conjuntos de dados de alto sinal usados para treinar o Scientist AI.
Nesta função, você não apenas gerenciará dados; você engenheirará sua qualidade. Você projetará filtragem algorítmica, construirá mecanismos de pontuação baseados em modelos e garantirá a integridade rigorosa de benchmarks para potencializar a próxima geração de IA. E à medida que nossos modelos ultrapassam os paradigmas estabelecidos, você projetará e implementará transformações de dados inovadoras que ainda não possuem manuais, trabalhando na vanguarda do que os dados de treinamento podem ser.
Estamos contratando várias pessoas para esta função, e as responsabilidades podem ser distribuídas pela equipe com base na experiência, habilidades e interesses individuais.
PRINCIPAIS RESPONSABILIDADES
- Colaborar com a equipe de Pesquisa para definir, construir, automatizar, escalar e gerenciar pipelines de dados que transformam dados brutos em escala web em conjuntos de dados de treinamento para o Scientist AI.
- Construir e manter pipelines de processamento de dados, incluindo deduplicação, pontuação de qualidade baseada em modelo, filtragem heurística, remoção de toxicidade, limpeza de PII, extração de metadados e transformações de dados proprietárias, com versionamento completo de conjuntos de dados e rastreamento de proveniência, otimizando para taxa de transferência e custo em escala.
- Garantir que todos os dados ingeridos atendam aos requisitos de conformidade, políticas internas de Governança de Dados e obrigações legais.
- Desenvolver e refinar a ferramenta de pontuação e filtragem: heurísticas, avaliadores baseados em LLM como juiz, classificadores de ML, módulos de extração de metadados e fluxos de trabalho de revisão humana no ciclo (human-in-the-loop) necessários para processamento de dados e garantia de qualidade.
- Instrumentar pipelines de processamento de dados com monitoramento de qualidade de dados, salvaguardas e alertas para capturar regressões antes que elas se propaguem downstream.
- Colaborar com a equipe de Pesquisa e outras equipes para entender os requisitos de dados em evolução, em seguida, identificar e adquirir corpora de texto em larga escala que atendam a esses requisitos. Isso inclui a realização de análises sistemáticas de cobertura para identificar lacunas no corpus e o desenvolvimento de estratégias de aquisição direcionadas para abordá-las, e trabalhar com a Equipe Jurídica e de Governança para licenciar novas fontes de dados.
- Projetar e manter mecanismos rigorosos de detecção de vazamento para proteger contra contaminação de avaliação em todas as fases do pipeline de processamento de dados.
- Construir ferramentas e interfaces internas que permitam aos pesquisadores explorar, consultar e entender os conjuntos de dados disponíveis com o mínimo de atrito.
HABILIDADES E QUALIFICAÇÕES
- Graduação em ciência da computação, engenharia de software ou área relacionada.
- Histórico comprovado de manuseio de enormes conjuntos de dados de texto não estruturado (escala de trilhões de tokens), com 5+ anos de experiência em processamento de dados, engenharia de machine learning ou Processamento de Linguagem Natural (PLN).
- Experiência prática com frameworks de processamento distribuído (por exemplo, Spark, Ray, Flink), projetando e otimizando pipelines de alta taxa de transferência.
- Experiência com implementação de privacidade de dados (limpeza de PII), filtragem de segurança de conteúdo (toxicidade, viés) e prevenção de contaminação de avaliação.
- Capacidade demonstrada de trabalhar em equipes de Pesquisa, Engenharia e/ou Jurídica/Governança, traduzindo requisitos variados em trabalho concreto de pipeline.
- Forte proficiência em Python, incluindo experiência na escrita de código de processamento de dados de nível de produção.
- Experiência com frameworks de orquestração de pipeline (por exemplo, Airflow, Prefect, Dagster).
Diferenciais
- Experiência em treinamento, ajuste fino ou implantação de modelos de ML para tarefas de qualidade de dados (classificadores, avaliadores baseados em LLM) e familiaridade com otimização de inferência de LLM (por exemplo, vLLM, SGLang).
- Familiaridade com implantação em contêineres (Docker, Kubernetes) e práticas de infraestrutura como código.
- Familiaridade com ferramentas de rastreamento de experimentos de ML (por exemplo, Weights and Biases).
- Experiência com fluxos de trabalho de licenciamento de dados ou aquisição de dados em escala web.
- Contribuições para ferramentas de processamento de dados ou PLN de código aberto.
Sobre a LawZero
A LawZero é uma organização sem fins lucrativos comprometida em avançar a pesquisa e criar soluções técnicas que permitam sistemas de IA seguros por design. Sua direção científica é baseada em novas pesquisas e métodos propostos pelo Professor Yoshua Bengio, o pesquisador de IA mais citado do mundo. Com sede em Montreal, a pesquisa da LawZero visa construir IA não-agente que aprenda principalmente a entender o mundo em vez de agir nele, fornecendo respostas verdadeiras a perguntas com base em raciocínio probabilístico transparente e externalizado. Tais sistemas de IA poderiam ser usados para acelerar a descoberta científica, para fornecer supervisão para sistemas de IA agentes e para avançar a compreensão dos riscos da IA e como evitá-los. A LawZero acredita que a IA deve ser cultivada como um bem público global — desenvolvida e usada com segurança em prol do florescimento humano. Para mais informações, visite lawzero.org lawzero.org/
Você pertence aqui
Na LawZero, a diversidade é importante para nós. Valorizamos um ambiente de trabalho justo, aberto e respeitoso às diferenças. Damos as boas-vindas a candidaturas de indivíduos altamente qualificados interessados em trabalhar em prol de nossa missão em um ambiente respeitoso, inclusivo e colaborativo.
Suas informações pessoais serão coletadas e processadas pela LawZero para avaliar sua candidatura a um emprego em conformidade com nossa Política de Privacidade lawzero.org/en/website-privacy-notice. Sob as leis de privacidade em vigor em seu país de residência, você pode ter vários direitos de privacidade, como solicitar acesso às suas informações pessoais ou solicitar que suas informações pessoais sejam retificadas ou apagadas. Detalhes sobre como você pode exercer seus direitos podem ser encontrados em nossa Política de Privacidade.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil