01Erstellung von Datenpipelines zur Aufnahme von Daten aus verschiedenen Quellen wie Datenbanken, APIs oder Streaming-Plattformen.
02Integration und Transformation von Daten, um deren Kompatibilität mit dem Ziel-Datenmodell oder -Format sicherzustellen.
03Entwurf und Optimierung von Datenspeicherarchitekturen, einschließlich Data Lakes, Data Warehouses oder verteilter Dateisysteme.
04Implementierung von Techniken wie Partitionierung, Komprimierung oder Indizierung zur Optimierung der Datenspeicherung und -abfrage.
05Identifizierung und Behebung von Engpässen, Optimierung von Abfragen und Implementierung von Caching-Strategien zur Verbesserung der Datenabrufgeschwindigkeit und der Gesamtsystemeffizienz.
06Entwurf und Implementierung von Datenmodellen, die eine effiziente Datenspeicherung, -abfrage und -analyse unterstützen.
07Zusammenarbeit mit Data Scientists und Analysten, um deren Anforderungen zu verstehen und ihnen gut strukturierte und optimierte Daten für Analyse- und Modellierungszwecke zur Verfügung zu stellen.
08Zusammenarbeit mit funktionsübergreifenden Teams, einschließlich Data Scientists, Analysten und Business Stakeholdern, um deren Anforderungen zu verstehen und technische Lösungen bereitzustellen.
09Vermittlung komplexer technischer Konzepte an nicht-technische Stakeholder auf klare und prägnante Weise.
10Eigenständigkeit und Verantwortung für die Lieferung einer Lösung.
11Fähigkeit zur Arbeit unter agilen und Scrum Entwicklungsmethoden.
12Schulung und Mentoring von Junior Data Engineers, Bereitstellung von Anleitung und Wissenstransfer.
13Entwurf und Implementierung von Datenverarbeitungssystemen auf der Azure Plattform. Dies beinhaltet das Schreiben von effizientem und skalierbarem Code zur Verarbeitung, Transformation und Bereinigung großer Mengen strukturierter und unstrukturierter Daten.
14Erstellung von Datenpipelines zur Aufnahme von Daten aus verschiedenen Quellen wie Datenbanken, APIs oder Streaming-Plattformen.
15Integration und Transformation von Daten, um deren Kompatibilität mit dem Ziel-Datenmodell oder -Format sicherzustellen.
16Identifizierung und Behebung von Engpässen, Optimierung von Abfragen und Implementierung von Caching-Strategien zur Verbesserung der Datenabrufgeschwindigkeit und der Gesamtsystemeffizienz.
17Zusammenarbeit mit funktionsübergreifenden Teams, einschließlich Data Scientists, Analysten und Business Stakeholdern, um deren Anforderungen zu verstehen und technische Lösungen bereitzustellen.
Was wir suchen
01Databricks 4/5.
02Apache Spark 4/5.
03Programmierung – Daten 4/5.
04Softwareentwicklung für DE – 4/5.
05Azure Services – 3/5.
06Technische Führung – 3/5.
07Architektur – Datenverarbeitung – 3/5.
08GenAI für Data Engineering – 3/5.
09CI/CD Automatisierung 3/5.
Sonstiges
104-6 Jahre Berufserfahrung in einer ähnlichen Rolle.
11Sehr gutes Kommunikationsniveau, einschließlich der Fähigkeit, Informationen klar und präzise an Kollegen und Business Stakeholder zu vermitteln.
Du willst für mehr Stellen infrage kommen, ohne den ganzen Prozess zu wiederholen? Erstelle dein Profil und lass dich von Unternehmen finden, die Nort nutzen.