Portugal
Mindrift
Sigma Software
Senior Data Engineer (Databricks Migration)
Portugal
Lisbon, Portugal
PythonSQLAWSGCP
Automatische Übersetzung. Prüfe das Original.
Unternehmensbeschreibung
Sind Sie ein Senior Data Engineer mit Leidenschaft für den Aufbau skalierbarer, hochperformanter Datenplattformen und die Arbeit mit modernen Lakehouse-Technologien? Treten Sie dem Data Engineering Center of Excellence von Sigma Software bei und tragen Sie zur Modernisierung eines Analyse-Ökosystems im Enterprise-Maßstab für den Einzelhandelsbereich bei.
Wir suchen einen Senior-Spezialisten mit fundierten Kenntnissen in Databricks, PySpark und Cloud Data Engineering, um an der Migration einer großen analytischen Plattform von BigQuery zu Databricks teilzunehmen. Sie werden mit internationalen Teams zusammenarbeiten, zu Architekturentscheidungen beitragen und zuverlässige und skalierbare Datenlösungen mitgestalten.
Wir bei Sigma Software schaffen Möglichkeiten für kontinuierliches Lernen, technologisches Wachstum und bedeutende technische Auswirkungen, während wir an komplexen internationalen Projekten arbeiten.
PROJEKT
Das Projekt konzentriert sich auf die strategische Migration einer großen analytischen Plattform von einem Legacy-BigQuery-Ökosystem zu einer modernen Databricks Lakehouse-Architektur. Die Plattform verarbeitet große Mengen an Einzelhandelsdaten, machine learning-Workloads, Analyse-Pipelines und kundenspezifische Geschäftslogik.
Im Rahmen der Modernisierungsinitiative implementiert das Engineering-Team skalierbare Spark-basierte Verarbeitung, Delta Lake-Architektur, Medallion-Datenschichten und moderne Governance-Praktiken. Die Rolle bietet die Möglichkeit, mit verteilten Datenverarbeitungssystemen zu arbeiten, große Workloads zu optimieren und zur Weiterentwicklung einer Enterprise-Datenplattform beizutragen.
Schlüsseltechnologien: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog
KUNDE
Unser Kunde ist ein führendes Unternehmen im Bereich Retail-Technologie, das sich auf KI-gesteuerte Preisoptimierungslösungen für große Einzelhändler spezialisiert hat. Das Unternehmen hilft Unternehmen, ihre Rentabilität und Wettbewerbsfähigkeit durch fortschrittliche Analysen, Automatisierung und intelligente Preisstrategien zu verbessern. Ihre Plattform kombiniert Business Intelligence mit hochentwickelten Algorithmen, um datengesteuerte Preisentscheidungen im großen Maßstab für globale Einzelhandelsorganisationen zu unterstützen.
Aufgabenbeschreibung
- Teilnahme an der Migration einer großen analytischen Plattform von BigQuery zu Databricks
- Entwurf und Implementierung skalierbarer Lakehouse-Architekturen unter Verwendung von Databricks und Delta Lake
- Analyse bestehender ETL / ELT-Workloads und Definition von Migrationsansätzen
- Entwicklung und Optimierung von Datenpipelines zur Verarbeitung großer Mengen von Einzelhandels- und analytischen Daten
- Implementierung inkrementeller Verarbeitungsstrategien und skalierbarer Transformations-Frameworks
- Erstellung und Wartung von Spark-basierten Datenverarbeitungslösungen mit PySpark
- Entwurf und Wartung von Medallion-Architekturschichten, einschließlich Bronze, Silber und Gold
- Implementierung von Best Practices für Data Governance und Sicherheit unter Verwendung des Unity Catalog
- Zusammenarbeit mit Data Science, Analytics, Product und Customer Engineering Teams
- Teilnahme an Architekturdiskussionen und technischem Lösungsdesign
- Entwicklung wiederverwendbarer Datenplattformkomponenten und Engineering-Standards
- Durchführung von Code-Reviews und Beitrag zur Zuverlässigkeit und Wartbarkeit der Plattform
- Fehlerbehebung und Optimierung komplexer SQL- und Spark-Workloads
- Unterstützung von Produktions-Deployments und Plattform-Modernisierungsaktivitäten
Qualifikationen
- 5+ Jahre Berufserfahrung als Data Engineer
- Starke Programmierkenntnisse in Python und fortgeschrittenem SQL
- Praktische kommerzielle Erfahrung mit Databricks
- Fundierte Kenntnisse in Apache Spark, hauptsächlich PySpark
- Erfahrung im Entwurf und Aufbau moderner Cloud-basierter Datenplattformen
- Erfahrung in der Entwicklung von ETL / ELT-Pipelines und skalierbaren Datenverarbeitungslösungen
- Praktische Erfahrung mit Delta Lake
- Erfahrung mit Spark Declarative Pipelines
- Erfahrung mit Cluster-Monitoring, Metrikanalyse und Leistungsoptimierung
- Starkes Verständnis von verteilten Datenverarbeitungsarchitekturen
- Solides Verständnis von Data-Warehousing-Konzepten und dimensionalem Modellieren
- Erfahrung mit Airflow oder ähnlichen Orchestrierungstools
- Erfahrung in der Optimierung komplexer analytischer SQL-Workloads
- Erfahrung in der Implementierung von CI / CD-Praktiken für Data Engineering-Plattformen
- Starke Fähigkeiten in Fehlerbehebung und Leistungsoptimierung
- Fähigkeit zur kollaborativen Arbeit in funktionsübergreifenden internationalen Teams
- Gutes bis sehr gutes Englisch (verhandlungssicher)
Vorteile
- Erfahrung mit GCP Cloud-Diensten
- Erfahrung mit AWS oder Azure Cloud-Plattformen
- Erfahrung im Bereich Retail Analytics oder Preisoptimierung
- Erfahrung in der Unterstützung von machine learning oder KI-bezogenen Daten-Workloads
- Erfahrung mit Plattformmodernisierung und Cloud-Migrationsinitiativen
Zusätzliche Informationen
PERSÖNLICHES PROFIL
- Starke analytische und problemlösende Denkweise
- Proaktiver und eigenverantwortlicher Ansatz
- Fähigkeit, unabhängig und kollaborativ zu arbeiten
- Gute Kommunikations- und Stakeholder-Kollaborationsfähigkeiten
- Leidenschaft für skalierbares Data Engineering und moderne Datenplattformen
- Interesse an kontinuierlichem Lernen und technologischer Innovation
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen
