Estados Unidos
StrideCare
Apple
Especialista em Avaliação de ML, Dados Humanos
Estados Unidos
Cupertino, California, United States
PythonSQL
Tradução automática. Consulte o original.
Sobre a oportunidade
Na Apple, não criamos apenas produtos — criamos experiências impulsionadas por dados de classe mundial.
A equipe de IA Centrada no Humano, dentro da Engenharia de Serviços da Apple, está procurando um Especialista em Avaliação de ML, Dados Humanos para se juntar à nossa divisão de Qualidade e Operações de Dados, a fim de liderar operações complexas com múltiplos stakeholders que se especializam em coleta, curadoria, anotação e esforços de avaliação humana de dados em Música, App Store, TV+, Podcasts e Livros da Apple.
O candidato ideal traz uma rara combinação de profundidade técnica e habilidades de execução de programas.
Você se preocupa profundamente com a qualidade dos dados e o alinhamento humano, tem uma abordagem criativa e sistemática para encontrar e corrigir problemas e encontra motivação em um trabalho de amplo alcance cujo impacto aparece nas experiências diárias da Apple.
O candidato ideal traz uma rara combinação de profundidade técnica e habilidades de execução de programas.
Você se preocupa profundamente com a qualidade dos dados e o alinhamento humano, tem uma abordagem criativa e sistemática para encontrar e corrigir problemas e encontra motivação em um trabalho de amplo alcance cujo impacto aparece nas experiências diárias da Apple.
DESCRIÇÃO
Nesta função, você será responsável pela estratégia operacional e melhoria contínua de programas de dados humanos multilíngues em larga escala, desde o design de estruturas de integração que constroem progressivamente a calibração do anotador, até a análise de padrões de comportamento do anotador para identificar onde a automação pode descarregar decisões de baixo julgamento, até a aplicação de frameworks de qualidade que fecham o ciclo entre a dificuldade do anotador e o redesenho da tarefa.
Você identificará onde o julgamento humano é essencial e onde ele poderia ser melhor direcionado, então construirá as estruturas, automação e sistemas de feedback que permitem aos anotadores focar sua energia cognitiva onde ela é mais importante.
Como este trabalho abrange engenharia, ciência de dados, pesquisa, aquisições e jurídico, uma parte crítica da função é servir como o elo de ligação entre equipes que possuem uma parte deste espaço, alinhando-se em padrões compartilhados, identificando lacunas e garantindo que os insights da camada de anotação informem as decisões anteriores sobre design de tarefas e ferramentas.
Você trará um ponto de vista sobre as melhores práticas de dados humanos e o traduzirá em abordagens escaláveis e centradas no ser humano que tornam os recursos de IA generativa mais seguros e confiáveis.
Você se sentirá confortável projetando e implantando pipelines de dados sofisticados pela manhã e, em seguida, fará a transição perfeita para apresentar estratégias abrangentes de retificação de qualidade aos stakeholders à tarde.
Nesta função, você será responsável pela estratégia operacional e melhoria contínua de programas de dados humanos multilíngues em larga escala, desde o design de estruturas de integração que constroem progressivamente a calibração do anotador, até a análise de padrões de comportamento do anotador para identificar onde a automação pode descarregar decisões de baixo julgamento, até a aplicação de frameworks de qualidade que fecham o ciclo entre a dificuldade do anotador e o redesenho da tarefa.
Você identificará onde o julgamento humano é essencial e onde ele poderia ser melhor direcionado, então construirá as estruturas, automação e sistemas de feedback que permitem aos anotadores focar sua energia cognitiva onde ela é mais importante.
Como este trabalho abrange engenharia, ciência de dados, pesquisa, aquisições e jurídico, uma parte crítica da função é servir como o elo de ligação entre equipes que possuem uma parte deste espaço, alinhando-se em padrões compartilhados, identificando lacunas e garantindo que os insights da camada de anotação informem as decisões anteriores sobre design de tarefas e ferramentas.
Você trará um ponto de vista sobre as melhores práticas de dados humanos e o traduzirá em abordagens escaláveis e centradas no ser humano que tornam os recursos de IA generativa mais seguros e confiáveis.
Você se sentirá confortável projetando e implantando pipelines de dados sofisticados pela manhã e, em seguida, fará a transição perfeita para apresentar estratégias abrangentes de retificação de qualidade aos stakeholders à tarde.
QUALIFICAÇÕES MÍNIMAS
- Bacharelado ou superior em Ciência Cognitiva, Linguística ou área relacionada que inclua um componente experimental ou empírico
- 4+ anos de experiência definindo e liderando programas de dados humanos inter-equipes para IA/ML, incluindo operações de anotação, frameworks de qualidade e estratégias de avaliação, dentro de um ambiente de NLP/NLU ou IA generativa
- Proficiência em linguagens de programação e dados (Python, R, SQL) para processar, analisar, consultar grandes conjuntos de dados, extrair insights, automatizar tarefas e monitorar o desempenho do programa
- Experiência prática no design e gerenciamento de iniciativas de coleta, anotação e avaliação de dados humano-no-loop de 0→1, incluindo a condução e incorporação de fluxos de trabalho agentivos para melhorar a qualidade e a escalabilidade
- Experiência trabalhando com diversos tipos de dados (por exemplo, fala, texto, multimodal) em vários idiomas
- Experiência em gerenciamento de qualidade de anotação de dados de ponta a ponta, incluindo a capacidade de desenvolver controles estatísticos de processo e métricas de qualidade de dados
- Familiaridade com práticas de manuseio de dados que preservam a privacidade e frameworks de conformidade
- Sucesso demonstrado na otimização de pipelines e fluxos de trabalho de dados para melhorar a qualidade, reduzir o tempo de entrega e escalar operações
- Experiência trabalhando de forma interfuncional com engenharia, ciência de dados, jurídico, privacidade e fornecedores terceirizados
QUALIFICAÇÕES PREFERENCIAIS
- Mestrado ou superior em Ciência Cognitiva, Linguística ou área relacionada que inclua um componente experimental ou empírico
- 2+ anos de experiência na liderança de estratégia de dados para desenvolvimento e avaliação de IA de ponta, com experiência em metodologias de alinhamento humano e sistemas GenAI agentivos
- Experiência no gerenciamento de fornecedores externos ou parceiros de força de trabalho em escala
- Familiaridade com princípios de Segurança de IA e IA Responsável, incluindo experiência na aplicação deles a fluxos de trabalho de coleta ou anotação de dados
- Fortes habilidades organizacionais e mentalidade orientada para a execução; capacidade de equilibrar atenção aos detalhes com pensamento de alto nível em um ambiente onde o escopo e as prioridades do programa evoluem rapidamente
- Excelentes habilidades de comunicação escrita e verbal; capaz de traduzir conceitos técnicos para stakeholders não técnicos
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil