Portugal
NOS
Chain IQ
Senior Data Platform Engineer
Portugal
Lisbon, Portugal
PythonSQLAWSGCPTerraform
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Bei Chain IQ bewegen sich Ihre Ideen schnell.
Chain IQ ist ein globaler KI-gesteuerter Procurement Service Partner mit Hauptsitz in Baar, Schweiz, und Niederlassungen in wichtigen Zentren sowie 16 Büros weltweit.
Wir bieten maßgeschneiderte End-to-End-Beschaffungslösungen, die Transformation ermöglichen, Skalierbarkeit fördern und erhebliche Einsparungen bei den indirekten Ausgaben unserer Kunden erzielen.
Unsere Kultur basiert auf Innovation, Unternehmergeist, Eigenverantwortung und Wirkung.
Hier zählt Ihre Stimme – kühnes Denken wird gefördert und auf Ehrgeiz folgt Handeln.
Zweck der Rolle
Wir bauen eine modulare, unternehmensgerechte Datenplattform, die auf Databricks basiert und vertrauenswürdige, gesteuerte Daten über mehrere Verbraucherkanäle liefert, darunter Analysen, APIs, Streaming und Knowledge-Graph-Lösungen.
Die Plattform basiert auf einem gemeinsamen kanonischen Datenmodell und legt Wert auf Skalierbarkeit, Governance, Datenschutz und eine „Data as a Product“-Mentalität.
Als Senior Data Platform Engineer spielen Sie eine Schlüsselrolle bei der Gestaltung und Weiterentwicklung der Plattform in den Bereichen Ingestion, Governance, Datenmodellierung und Datenprodukte.
Dies ist eine praxisorientierte Rolle mit hoher Eigenverantwortung, die sich auf den Aufbau wiederverwendbarer Plattformfunktionen, die Ermöglichung vertrauenswürdigen Datenzugriffs in großem Maßstab und die Förderung von Engineering-Best Practices im gesamten Datenökosystem konzentriert.
Treten Sie einem wirklich globalen Team bei.
Wir bieten ein dynamisches und internationales Umfeld, in dem hohe Leistung auf echten Sinn trifft. Wir sind stolz darauf, Great Place to Work-zertifiziert zu sein, und noch stolzer auf die Menschen, die dies ermöglichen. Gestalten wir gemeinsam die Zukunft des Einkaufs.
Chain IQ – Create. Lead. Make an impact.
Aufgaben
- Entwicklung und Wartung modularer Ingestion-Muster zur Unterstützung von Batch-, API-basierten und ereignisgesteuerten Datenquellen (z. B. JDBC, SaaS/ERP-Konnektoren, Kafka, CDC).
- Einrichtung wiederverwendbarer Ingestion-Frameworks (wenn möglich metadatengetrieben), die eine schnelle und konsistente Einbindung neuer Datenquellen ermöglichen.
- Erstellung und Optimierung von Databricks-basierten Datenpipelines (Spark, Delta Live Tables/Lakeflow) über die Medaillon-Architektur (Bronze, Silber, Gold).
- Implementierung und Weiterentwicklung von Data-Governance-Funktionen, einschließlich Zugriffskontrollen, Datenherkunft (Lineage), Katalogisierung, Auditierung, Datenklassifizierung und Datenschutzkonformität.
- Definition und Durchsetzung von Datenqualitätsstandards, Datenverträgen, Überwachung und Alarmierung über Ingestion- und Transformationsschichten hinweg.
- Implementierung von Datenschutz- und Privatsphärenlösungen, einschließlich Maskierung, Tokenisierung, Pseudonymisierung und anderer geeigneter Anonymisierungstechniken zur Erfüllung regulatorischer Anforderungen (z. B. DSGVO).
- Erstellung, Verantwortung und Weiterentwicklung von Datenprodukten, die einem kanonischen Datenmodell entsprechen, und Sicherstellung klarer Verantwortlichkeiten, SLAs und Dokumentation.
- Zusammenarbeit mit Domänenteams zur Integration von Quelldaten in das kanonische Modell unter Beibehaltung domänenspezifischer Nuancen.
- Förderung eines „Data as a Product“-Ansatzes: Auffindbarkeit, Self-Service, Versionierung und verbraucherorientierte Verträge.
- Erstellung und Wartung von Datenverbrauchs- und Bereitstellungsschichten, einschließlich BI/Analyse-Datensätzen, APIs (REST/GraphQL) und anwendungsfallgesteuerten Erweiterungen wie Streaming-Ausgaben oder Knowledge-Graph-Darstellungen.
- Förderung technischer Standards und der Plattformausrichtung über CI/CD, Infrastructure as Code, Tests, Beobachtbarkeit und Kostenoptimierung.
- Mentoring von Ingenieuren und Partnerschaft mit Governance-, Sicherheits-, Architektur- und Geschäftsinteressengruppen.
Anforderungen
- Rund 6+ Jahre Erfahrung im Data Engineering, davon 2+ Jahre in der Konzeption/dem Betrieb von Databricks-basierten Lakehouse-Plattformen im Produktionsmaßstab.
- Praktische Erfahrung mit Apache Spark und Delta Lake; Erfahrung mit Delta Live Tables/Lakeflow Declarative Pipelines ist ein großes Plus.
- Praktische Erfahrung mit Unity Catalog (oder Äquivalent) für Zugriffskontrolle, Datenherkunft (Lineage) und Katalogisierung.
- Nachgewiesene Erfahrung in der Implementierung von Datenanonymisierungs-/Pseudonymisierungstechniken in einer regulierten Umgebung.
- Solides Verständnis von kanonischen/konformen Datenmodellen (z. B. Data Vault, dimensionale Modellierung, Domain-Driven Design für Daten).
- Nachgewiesene Erfolgsbilanz bei der Bereitstellung von Daten über APIs (REST/GraphQL) – Konzeption von Schemata, Verträgen und Versionierung für externe/interne Verbraucher.
- Fundierte Kenntnisse in Python und/oder Scala, SQL und Infrastructure as Code (Terraform bevorzugt).
- Gutes Verständnis von Data-Governance-Frameworks, Datenschutzbestimmungen (DSGVO/CCPA) und Datensicherheitspraktiken.
- Erfahrung mit Cloud-Plattformen (Azure, AWS oder GCP) und deren nativen Daten-/Event-Diensten.
Nice to have
- Erfahrung mit Structured Streaming oder ereignisgesteuerter Ingestion (Kafka, CDC-Tools wie Debezium) – keine Kernanforderung, aber nützlich, wenn die Plattform ausgereifter wird.
- Vertrautheit mit Knowledge-Graph-Konzepten (z. B. RDF/Property Graphen, Neo4j, Graph-Layer auf Spark) – ein Plus, keine Erwartung.
- Erfahrung mit Data-Mesh- oder federierten Datenproduktarchitekturen.
- Erfahrung mit Metadatenmanagement-/Katalog-Tools über Unity Catalog hinaus (z. B. OpenMetadata, Collibra, Purview).
- Erfahrung mit MLOps- oder Feature-Store-Mustern auf Databricks.
- Relevante Zertifizierungen (Databricks Data Engineer Professional, Cloud-Architektur-Zertifikate).
Informationen für Agenturen: Von Vermittlungsagenturen oder ähnlichen Anbietern gesendete oder hochgeladene Bewerbungen sind nicht erwünscht, werden daher nicht berücksichtigt und gelöscht.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen