Portugal
Sword
Mindrift
Engenheiro Sênior de Data Scraping com Python (Freelance)
RemotoPortugal
Coimbra, Portugal
JavaScriptPythonAWSDocker
Tradução automática. Consulte o original.
Sobre a oportunidade
Mindrift está à procura de especialistas em Vibecode altamente qualificados para se juntarem ao projeto Tendem (tendem.ai/) e impulsionarem fluxos de trabalho especializados de data scraping para casos de uso do mundo real.
Mindrift está à procura de Engenheiros Sêniores de Data Scraping com Python altamente qualificados para se juntarem ao projeto Tendem e impulsionarem fluxos de trabalho especializados de data scraping para aplicações do mundo real.
Nesta função, você aplicará sua expertise em web scraping, extração de dados e processamento de dados para entregar resultados precisos, confiáveis e de alta qualidade.
Esta oportunidade remota de meio período é ideal para profissionais técnicos com experiência prática em web scraping, extração e processamento de dados.
Experiência Acadêmica e/ou Profissional
Os candidatos devem ter uma base técnica sólida e experiência prática com scripting, automação e fluxos de trabalho de extração de dados. Estamos procurando especialistas que possam resolver problemas não triviais, trabalhar com confiança com ferramentas e tecnologias de desenvolvimento modernas e coletar, estruturar e validar dados de diversas fontes de forma sistemática. Uma abordagem metódica, orientada a detalhes e a capacidade de trabalhar de forma independente são essenciais.
Expectativas de tempo do projeto
Para este projeto, as tarefas são estimadas em cerca de 10–20 horas por semana durante as fases ativas, com base nos requisitos do projeto. Esta é uma estimativa, não uma carga de trabalho garantida, e aplica-se apenas enquanto o projeto estiver ativo.
O que fazemos
A plataforma Mindrift conecta especialistas a projetos de tecnologia inovadores. Nossa missão é ajudar a desenvolver tecnologias de IA de alta qualidade, combinando expertise do mundo real de profissionais de todo o mundo com esforços avançados de desenvolvimento de IA.
Sobre a Vaga
Esta é uma vaga freelance para um projeto Tendem. Como Engenheiro Sênior de Data Scraping com Python, você cuidará de tarefas de data scraping que exigem precisão técnica para extração e processamento web, utilizando ferramentas como Apify, OpenRouter e outras tecnologias, juntamente com sua própria expertise técnica e abordagens.
Principais Responsabilidades
- Gerenciar fluxos de trabalho de extração de dados de ponta a ponta em sites complexos, garantindo cobertura completa, precisão e entrega confiável de conjuntos de dados estruturados.
- Utilizar ferramentas disponíveis e fluxos de trabalho personalizados para acelerar a coleta, validação e execução de tarefas de dados, ao mesmo tempo em que atende aos requisitos definidos.
- Garantir a extração confiável de fontes web dinâmicas e interativas, adaptando abordagens conforme necessário para lidar com conteúdo renderizado por JavaScript e comportamento de site em mudança.
- Aplicar padrões de qualidade de dados por meio de verificações de validação, controles de consistência entre fontes, adesão a especificações de formatação e verificação sistemática antes da entrega.
- Escalar operações de scraping para grandes conjuntos de dados usando lotes eficientes ou paralelização, monitorar falhas e manter a estabilidade contra pequenas alterações na estrutura do site.
Qualificações Educacionais
- Pelo menos 5+ anos de experiência relevante em engenharia de dados, web scraping, automação ou desenvolvimento de software (obrigatório).
Habilidades Técnicas (Essenciais)
- Forte experiência em web scraping com Python (BeautifulSoup, Selenium ou similar), incluindo conteúdo dinâmico (JS, AJAX, scroll infinito) e APIs via proxies
- Capacidade comprovada de extrair dados de estruturas complexas (hierarquias, páginas arquivadas, HTML inconsistente)
- Sólida experiência em limpeza, normalização e validação de dados, entregando conjuntos de dados estruturados (CSV, JSON, Google Sheets)
Requisitos Adicionais
- Experiência demonstrada no manuseio de mecanismos anti-bot e estruturas de sites dinâmicos em escala
- Experiência com infraestrutura em nuvem (AWS ou equivalente) e containerização (Docker) como parte de fluxos de trabalho reais
- Experiência prática com frameworks de LLM (LangChain, OpenRouter ou similar) aplicados a tarefas de automação
- Forte atenção aos detalhes e compromisso com a precisão dos dados
- Ética de trabalho autodirigida com capacidade de solucionar problemas de forma independente
- Proficiência em inglês: Intermediário-avançado (B2) ou superior (obrigatório)
- Bacharelado ou Mestrado em Engenharia, Matemática Aplicada, Ciência da Computação ou áreas técnicas relacionadas é um diferencial.
- Um link para GitHub é um diferencial
Compensação
Neste projeto, os contribuidores podem ganhar até US$40 por hora equivalente, dependendo do seu nível e ritmo de contribuição. A compensação varia entre os projetos dependendo do escopo, complexidade e expertise necessária. Observe que outros projetos na plataforma podem oferecer níveis de ganhos diferentes com base em seus requisitos.
Mais oportunidades com um só perfil
Quer aparecer para várias vagas sem repetir todo o processo? Crie seu perfil e seja encontrado pelas empresas que usam a Nort.
Criar meu perfil