Portugal
NOS
Mindrift
Senior Python Data Scraping Engineer (Freelance)
RemotePortugal
Coimbra, Portugal
JavaScriptPythonAWSDocker
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Mindrift sucht hochqualifizierte Vibecode-Spezialisten für das Tendem-Projekt (tendem.ai/) zur Steuerung spezialisierter Data-Scraping-Workflows für reale Anwendungsfälle.
Mindrift sucht hochqualifizierte Senior Python Data Scraping Engineers für das Tendem-Projekt zur Steuerung spezialisierter Data-Scraping-Workflows für reale Anwendungen.
In dieser Rolle wenden Sie Ihre Expertise in Web Scraping, Datenextraktion und Datenverarbeitung an, um genaue, zuverlässige und qualitativ hochwertige Ergebnisse zu liefern.
Diese Teilzeit-Remote-Möglichkeit ist ideal für technische Fachkräfte mit praktischer Erfahrung in Web Scraping, Datenextraktion und -verarbeitung.
Akademische und/oder berufliche Erfahrung
Kandidaten sollten über eine starke technische Grundlage und praktische Erfahrung mit Scripting, Automatisierung und Datenextraktions-Workflows verfügen. Wir suchen Spezialisten, die nicht-triviale Probleme lösen, sicher mit modernen Entwicklungswerkzeugen und -technologien umgehen und Daten aus verschiedenen Quellen systematisch sammeln, strukturieren und validieren können. Ein methodischer, detailorientierter Ansatz und die Fähigkeit, unabhängig zu arbeiten, sind unerlässlich.
Projekterwartungen bezüglich der Arbeitszeit
Für dieses Projekt wird geschätzt, dass die Aufgaben während aktiver Phasen etwa 10–20 Stunden pro Woche erfordern, basierend auf den Projektanforderungen. Dies ist eine Schätzung, keine garantierte Arbeitslast, und gilt nur, solange das Projekt aktiv ist.
Was wir tun
Die Mindrift-Plattform verbindet Spezialisten mit innovativen Technologieprojekten. Unsere Mission ist es, die Entwicklung hochwertiger KI-Technologien zu unterstützen, indem wir reale Expertise von Fachleuten aus der ganzen Welt mit fortschrittlichen KI-Entwicklungsbemühungen kombinieren.
Über die Rolle
Dies ist eine freiberufliche Tätigkeit für ein Tendem-Projekt. Als Senior Python Data Scraping Engineer übernehmen Sie Data-Scraping-Aufgaben, die technische Präzision für Web-Extraktion und -Verarbeitung erfordern, und nutzen dabei Tools wie Apify, OpenRouter und andere Technologien sowie Ihre eigenen technischen Kenntnisse und Ansätze.
Hauptverantwortlichkeiten
- Übernahme der End-to-End-Datenextraktions-Workflows über komplexe Websites hinweg, um eine vollständige Abdeckung, Genauigkeit und zuverlässige Lieferung strukturierter Datensätze zu gewährleisten.
- Nutzung verfügbarer Tools und benutzerdefinierter Workflows zur Beschleunigung der Datenerfassung, -validierung und -aufgabenbearbeitung unter Einhaltung der definierten Anforderungen.
- Sicherstellung einer zuverlässigen Extraktion aus dynamischen und interaktiven Webquellen, Anpassung der Ansätze nach Bedarf zur Handhabung von JavaScript-gerenderten Inhalten und sich änderndem Website-Verhalten.
- Durchsetzung von Datenqualitätsstandards durch Validierungsprüfungen, konsistente Kontrollen über verschiedene Quellen hinweg, Einhaltung von Formatierungsanforderungen und systematische Verifizierung vor der Lieferung.
- Skalierung von Scraping-Operationen für große Datensätze unter Verwendung effizienter Stapelverarbeitung oder Parallelisierung, Überwachung von Fehlern und Aufrechterhaltung der Stabilität gegenüber geringfügigen Änderungen der Website-Struktur.
Bildungsqualifikationen
- Mindestens 5+ Jahre relevante Erfahrung in Data Engineering, Web Scraping, Automatisierung oder Softwareentwicklung (erforderlich).
Technische Fähigkeiten (unerlässlich)
- Umfangreiche Erfahrung im Python-Web-Scraping (BeautifulSoup, Selenium oder ähnlich), einschließlich dynamischer Inhalte (JS, AJAX, Infinite Scroll) und APIs über Proxys
- Nachgewiesene Fähigkeit zur Extraktion von Daten aus komplexen Strukturen (Hierarchien, archivierte Seiten, inkonsistentes HTML)
- Solide Kenntnisse in Datenbereinigung, Normalisierung und Validierung, Lieferung strukturierter Datensätze (CSV, JSON, Google Sheets)
Zusätzliche Anforderungen
- Nachgewiesene Erfahrung im Umgang mit Anti-Bot-Mechanismen und dynamischen Website-Strukturen im großen Maßstab
- Erfahrung mit Cloud-Infrastruktur (AWS oder gleichwertig) und Containerisierung (Docker) als Teil realer Workflows
- Praktische Erfahrung mit LLM-Frameworks (LangChain, OpenRouter oder ähnlich), angewendet auf Automatisierungsaufgaben
- Hohe Detailgenauigkeit und Engagement für Datenrichtigkeit
- Eigenverantwortliche Arbeitsweise mit der Fähigkeit zur unabhängigen Fehlerbehebung
- Englischkenntnisse: obere Mittelstufe (B2) oder höher (erforderlich)
- Bachelor- oder Master-Abschluss in Ingenieurwesen, angewandter Mathematik, Informatik oder verwandten technischen Bereichen ist von Vorteil.
- Ein Link zu GitHub ist von Vorteil
Vergütung
Bei diesem Projekt können Mitwirkende bis zu 40 US-Dollar pro Stunde verdienen, abhängig von ihrem Niveau und ihrer Beitragsgeschwindigkeit. Die Vergütung variiert je nach Projekt, Umfang, Komplexität und erforderlicher Expertise. Bitte beachten Sie, dass andere Projekte auf der Plattform je nach ihren Anforderungen unterschiedliche Verdienstmöglichkeiten bieten können.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen