Brasilien
GFT Technologies SE
Intetics
1104 | Senior Data (Databricks) Engineer
RemoteBrasilien
Brazil
PythonSQLPostgreSQLAWS
Automatische Übersetzung. Prüfe das Original.
Über die Stelle
Intetics Inc., ein globales Technologieunternehmen, das kundenspezifische Softwareentwicklung, verteilte professionelle Teams, Softwareproduktqualitätsbewertung und „All-Things-Digital“-Lösungen anbietet, sucht einen hochqualifizierten und erfahrenen Senior Data Engineer zur Vollzeitbeschäftigung in unserem dynamischen Team.
Über das Projekt
Wir definieren CRM für das Zeitalter der KI neu.
Wir setzen das ursprüngliche Versprechen von CRM um – fragmentierte Kunden- und Umsatzsignale in klare, priorisierte Aktionen umwandeln. Anstatt mehr Dashboards oder oberflächliche Einblicke zu bieten, helfen wir Teams, sich auf das Wesentliche zu konzentrieren und genau zu wissen, was als Nächstes zu tun ist.
Mehr als zwei Jahrzehnte nach unserer Gründung treten wir mit Klarheit und Schwung in ein neues Kapitel ein – wir entwickeln intelligente, intuitive Lösungen, die sich nahtlos in den Arbeitsablauf von Vertriebs- und Serviceteams einfügen. Wir konzentrieren uns auf die Lösung komplexer, realer Herausforderungen, bei denen Beziehungen, Kontext und Präzision den entscheidenden Unterschied machen.
Unser globales Team eint das gemeinsame Engagement für Wirkung, Eigenverantwortung und kontinuierliches Wachstum. Wir schaffen eine Umgebung, in der durchdachte Ideen schnell umgesetzt werden, in der Menschen Vertrauen haben, Verantwortung zu übernehmen, und in der Flexibilität die Grundlage für großartige Arbeit bildet.
Wenn Sie begeistert davon sind, die Zukunft des KI-gesteuerten CRM mitzugestalten – und Technologien zu entwickeln, die echte Ergebnisse erzielen – würden wir Sie gerne kennenlernen.
Wo Sie hineinpassen
Die prädiktive Datenplattform ermöglicht Revenue Intelligence für mittelständische Unternehmen, indem sie ERP- und CRM-Daten zu umsetzbaren Erkenntnissen verschmilzt.
Als Senior Data Engineer werden Sie die Databricks-Pipelines verantworten, die dies ermöglichen, und durch Kunden-Onboarding und Modernisierung von Altsystemen Produktionszuverlässigkeit, Kosteneffizienz und Plattformwachstum vorantreiben.
Sie werden eng mit ML-Ingenieuren, Produktteams und dem Enterprise Architecture Team zusammenarbeiten, um sicherzustellen, dass das Daten-Backbone hinter der prädiktiven Plattform stets schnell, sauber und global skalierbar ist.
Welchen Einfluss Sie in der Rolle haben werden
- Verantwortung für den Databricks-Produktionssupport für die prädiktive Datenplattform, einschließlich Überwachung, Alarmierung und Incident Response für alle Produktionsdatenflüsse.
- Pflege und Berichterstattung über SLA-Leistungsmetriken für die Datenpipeline-Bereitstellung, um Transparenz über den Plattformzustand und Rechenschaftspflicht gegenüber internen und externen Stakeholdern zu gewährleisten.
- Identifizierung und Implementierung von Pipeline-Optimierungen, die die Databricks-Compute-Kosten senken, den Durchsatz verbessern und die Verarbeitungsfenster verkürzen, während die Auswirkungen durch messbare KPIs verfolgt werden.
- Migration von Legacy-ETL/ELT-Pipelines zu Databricks, Aufbau von Automatisierungstools zur Reduzierung manueller Eingriffe und Gewährleistung einer unterbrechungsfreien Datenbereitstellung während der Übergänge.
- Unterstützung des Onboardings neuer Kunden durch Bereitstellung, Validierung und Härtung von Mandanten-Datenpipelines, die vom ersten Tag an zuverlässige, isolierte Daten liefern.
- Entwurf und Aufbau von Hochleistungs-Databricks-Pipelines, die ERP- und CRM-Daten in großem Maßstab über Azure- und AWS-Umgebungen hinweg erfassen, transformieren und bereitstellen.
- Verantwortung für die Delta Lake-Architektur, einschließlich Schema-Design, Partitionierungsstrategien, Durchsetzung der Datenqualität und inkrementelle Verarbeitungsmuster.
- Durchsetzung von Best Practices für Datensicherheit in Databricks-Umgebungen, einschließlich rollenbasierter Zugriffskontrolle, Geheimnisverwaltung und Compliance-Anforderungen für unternehmensweite CRM- und ERP-Daten.
- Implementierung von Data-Quality-Monitoring und Observability über die Pipeline-Gesundheit und ML-Modelleingaben, um die Datenintegrität zu gewährleisten, die die Genauigkeit der Modellvorhersagen direkt unterstützt.
- Anwendung und Durchsetzung von Multi-Tenant-Datenisolationsmustern, die eine zuverlässige und sichere Datenbereitstellung für Unternehmenskunden gewährleisten.
- Zusammenarbeit mit dem Enterprise Architecture Team, um sicherzustellen, dass Datenpipelines nahtlos in das breitere Produkt-Ökosystem integriert werden.
- Unterstützung eines global verteilten Betriebs durch Bereitschaftsdienste und Incident Response außerhalb der Geschäftszeiten, um SLAs über mehrere Zeitzonen hinweg einzuhalten.
- Pflege technischer Dokumentationen, Runbooks und Architekturentscheidungsaufzeichnungen, Beitrag zum Wissensaustausch im Team und zur operativen Bereitschaft für Bereitschafts- und Incident-Response-Szenarien.
- Anwendung von CI/CD-Best Practices für die Entwicklung von Datenpipelines, einschließlich Versionskontrolle, automatisierten Tests und Deployment-Tools, um eine zuverlässige und wiederholbare Pipeline-Bereitstellung zu gewährleisten.
Mindestanforderungen
- 4+ Jahre Erfahrung im Data Engineering.
- Mindestens 2 Jahre Erfahrung mit Databricks oder dem Apache Spark-Ökosystem über Azure und/oder AWS.
- Kenntnisse in PySpark, SQL und Python mit einer starken Erfolgsbilanz beim Aufbau und Betrieb von Produktions-Pipelines unter SLA-Bedingungen.
- Praktische Erfahrung mit Delta Lake, einschließlich Schema-Entwicklung, ACID-Transaktionen, Optimize/Vacuum-Lebenszyklus sowie inkrementellen und Streaming-Verarbeitungsmustern.
- Praktische Erfahrung mit der Leistungsoptimierung von Pipelines und der Compute-Optimierung in Produktions-Databricks-Umgebungen.
- Solide praktische Kenntnisse von PostgreSQL, einschließlich Query-Optimierung, Schema-Design und Verwendung als Quelle oder Senke in Produktionsdatenpipelines.
- Erfahrung in der Unterstützung und Wartung von Legacy-ETL-Tools (SSIS, Informatica, benutzerdefinierte Python/SQL-Pipelines oder ähnliches) in der Produktion.
- Erfahrung in der Unterstützung von Multi-Tenant-Architekturen im großen Maßstab mit Fokus auf Mandantenisolierung, mandantenspezifischer Leistung und Datenschutz, einschließlich der Navigation durch Tools und Plattformen, die standardmäßig auf Single-Tenant-Annahmen basieren.
- Nachgewiesene Fähigkeit zur Zusammenarbeit mit Data Science-, Produkt- und Infrastrukturteams, Übernahme der End-to-End-Bereitstellung in einem funktionsübergreifenden Umfeld.
- Starkes Verständnis von Data Governance, Sicherheit und Compliance-Prinzipien, einschließlich Zugriffskontrolle, Datenschutz und Schutz sensibler Unternehmensdaten in Multi-Tenant-Umgebungen.
Bevorzugte Qualifikationen / Erfahrung
- Erfahrung im Betrieb von Databricks-Workspaces über Azure und AWS, einschließlich Kostenmanagement, Clusterverwaltung und Cloud-übergreifendem Datenzugriff.
- Erfahrung in der Optimierung von Databricks-Workloads in einer Serverless-Umgebung, einschließlich Kostenmanagement für Compute und Leistungsoptimierung für Serverless Compute.
- Erfahrung mit Microsoft SQL Server in einem Data-Engineering- oder ETL-Kontext.
- Kenntnisse in ML Feature Engineering oder Feature Stores (Databricks Feature Store, Feast oder ähnliches) zur Unterstützung von prädiktiver Analytik.
- Erfahrung mit Kunden-Onboarding-Automatisierung oder IaC-Mustern zur Bereitstellung von Mandanten-Datenpipelines im großen Maßstab.
- Databricks Certified Data Engineer Associate oder Professional Zertifizierung.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen