Portugal
Check Point Software Technologies
Causeway Technologies
Senior Data Engineer
Portugal
Lisbon, Portugal
PythonSQLPostgreSQLAWSGCP
Automatische Übersetzung. Prüfe das Original.
Zweck
Senior Data Engineer
Möchten Sie an Software mitwirken, die Tausende von Leben beeinflusst?
Der Senior Data Engineer spielt eine zentrale Rolle beim Aufbau der Causeway-Datenplattform der nächsten Generation auf Databricks, einer Plattform, die Daten aus dem gesamten Causeway-Produktportfolio und einer Vielzahl von Drittanbieterquellen in einen typisierten, entitätsaufgelösten digitalen Zwilling integriert, über den KI-Agenten schlussfolgern können.
Der Senior Data Engineer verantwortet signifikante Teile der Medallion-Pipeline (Bronze bis Silber bis Gold), der Modellierungsschicht, die rohe Delta-Tabellen in typisierte Objekt- und Beziehungstabellen umwandelt, und der Serving-Schicht, die den Graphen für Agenten mit interaktiver Latenz abfragbar macht. Es wird erwartet, dass die Rolle auf Skalierbarkeit ausgelegt ist, den Standard für technische Qualität im Team setzt und architektonische Entscheidungen trifft, die dauerhaft sind.
Lissabon - Hybrid
Unsere Werte
Wer sind wir?
Wir sind als der 1 führende Anbieter von Bausoftware im Vereinigten Königreich gelistet und unsere Mission ist einfach: branchenführende End-to-End-Softwarelösungen für die Bau- und baunahen Industrien über den gesamten Lebenszyklus des Bauens hinweg bereitzustellen.
Wenn Sie eine außergewöhnliche Karriere in einem preisgekrönten Unternehmen aufbauen möchten, sind Sie hier genau richtig. Unsere Teams sind in Großbritannien, Europa und Indien ansässig und arbeiten an Produkten, die weltweit eingesetzt werden. Wir haben eine klare und definierte Roadmap für die nächsten 3 Jahre, die sich auf eine groß angelegte digitale Transformation sowie auf unser weiteres Wachstum und unsere Expansion konzentriert.
Wir fördern Vielfalt und Gleichberechtigung und möchten, dass sich unsere Mitarbeiter wohl fühlen, wenn sie sich selbst einbringen. Wir sind bestrebt, ein Team mit unterschiedlichen Hintergründen, Fähigkeiten und Ansichten aufzubauen. Die Schaffung einer Kultur der Gleichberechtigung ist nicht nur das Richtige, sondern verbessert jeden Aspekt unseres Geschäfts.
Unsere Werte
Wir sind vereint. Als Teil eines Teams sind wir gemeinsam besser.
Wir sind agil. Seien Sie die Veränderung, wir sind auf einer Reise.
Wir sind vertrauenswürdig. Tun Sie das Richtige, wir übernehmen das.
Wir sind zielstrebig. Packen Sie es an, wir setzen es um.
Wie alle verantwortungsbewussten Unternehmen ist sich Causeway der Notwendigkeit bewusst, die Bedeutung des Schutzes unserer Umwelt und der Bewältigung des Klimanotstands anzuerkennen. Causeway ist ein CO2-neutrales Unternehmen und gleicht seinen berechneten CO2-Fußabdruck aus. Wir erkennen jedoch an, dass Kompensation keine dauerhafte Lösung ist, daher legen wir Umweltziele fest, um unseren Fußabdruck Jahr für Jahr zu reduzieren.
Hauptverantwortlichkeiten
Die Hauptverantwortungsbereiche für den Senior Data Engineer umfassen:
- Medallion Pipeline & Graph Engineering,
- Datenqualität & Governance,
- Technische Führung & Zusammenarbeit.
Medallion Pipeline & Graph Engineering
- Entwurf und Verantwortung für die Aufnahme in die Bronze-Schicht aus einer Vielzahl von Quellen, wobei das entsprechende Muster pro Quelle ausgewählt wird. Einschließlich Auto Loader, API Pull, ereignisgesteuert, Datenbankreplikat/CDC und CQRS-Lesemodelle sowie Vereinbarung von Datenverträgen mit Architekten und Produktteams.
- Aufbau und Pflege der Silber- und Gold-Medallion-Schichten als Delta Live Tables und PySpark-Notebooks, die Deduplizierung, Entitätsauflösung (deterministisch und probabilistisch), kanonische ID-Zuweisung und Projektion in typisierte Objekt- und Beziehungstabellen handhaben.
- Generierung und Pflege des typisierten Beziehungsdiagramms, das getrennte Gold-Tabellen in einen durchquerbaren digitalen Zwilling umwandelt.
- Verantwortung und Weiterentwicklung der Serving-Schicht, die den Graphen für KI-Agenten mit interaktiver Latenz abfragbar macht.
- Beitrag zum Entwurf und zur Weiterentwicklung der breiteren Causeway-Datenplattformarchitektur, um sicherzustellen, dass Lösungen skalierbar, wartbar und an Cloud-nativen Best Practices ausgerichtet sind.
Datenqualität & Governance
- Verantwortung für die Datenqualitäts- und Teststrategie von Ende zu Ende, Implementierung automatisierter Frameworks, die Vollständigkeit, Genauigkeit, Konsistenz und Schema-Konformität über Pipeline-Stufen hinweg validieren.
- Bereitstellung von Governance über Unity Catalog, die Multi-Tenant-Isolation, zeilenbasierte Sicherheit, Lineage, Audit-Protokollierung und das mandantenbezogene Erweiterungsschema, das benutzerdefinierte Objekte aus externen Kundensystemen unterstützt.
- Sicherstellen, dass Datenassets korrekt mit entsprechenden Metadaten, Sicherheitsklassifizierungen und Sensitivitätskennzeichnungen gemäß den Datengovernance-Standards des Unternehmens katalogisiert werden.
- Überwachung von Pipeline-Gesundheit und Datenqualitätsmetriken, proaktive Identifizierung und Behebung von Problemen, bevor sie nachgelagerte Verbraucher oder das Agentenverhalten beeinträchtigen.
Technische Führung & Zusammenarbeit
- Mentoring von Ingenieuren im Datenteam, Leitung von Architekturdikussionen, Durchführung von PR-Reviews und Infragestellung schlechter Muster, einschließlich solcher, die bereits in Produktion sind.
- Partnerschaft mit den Plattform- und Agententeams für die Tool-Schicht, die den Graphen für KI-Agenten bereitstellt, um sicherzustellen, dass Datensätze für Agenten lesbar sind, durch reichhaltige Spaltenkommentare, typisierte Beziehungen, Embedding-Vorlagen und gesteuerte Tools.
- Zusammenarbeit mit Data Engineers, um komplexe analytische Anforderungen in strukturierte, wiederverwendbare Datensätze und Features zu übersetzen.
- Beitrag zur kontinuierlichen Verbesserung von Data-Engineering-Praktiken, Tools und Standards im gesamten Team.
- Übernahme der Verantwortung für die persönliche Weiterentwicklung, um mit neuen Technologien im Bereich Data Engineering, Lakehouse-Architektur und KI-Agenten-Tools auf dem Laufenden zu bleiben.
Wesentliche Fähigkeiten, Erfahrungen und Qualifikationen
Unerlässlich
- Umfangreiche Produktionserfahrung mit Databricks, einschließlich Delta Lake, Delta Live Tables, Auto Loader, Unity Catalog, Databricks Asset Bundles, Serverless- und Job-Compute sowie Structured Streaming für Near-Real-Time-Workloads.
- Tiefgreifende Kenntnisse in Python und PySpark für die Verarbeitung und Transformation großer Datenmengen.
- Fortgeschrittene SQL-Kenntnisse, einschließlich rekursiver CTEs für die Graphendurchquerung, Fensterfunktionen, Abfrageplanung und die Fähigkeit, EXPLAIN-Ausgaben zu interpretieren und die Indexnutzung zu optimieren.
- Umfangreiche Erfahrung mit Lakehouse-Architekturen und Datenmodellierung für Graph-Workloads – typisierte Entitäten, Edge-Tabellen, dimensionale vs. ereignisbasierte Modellierung und Entitätsauflösung über Systeme hinweg, die keine Schlüssel gemeinsam nutzen.
- Praktische Erfahrung mit PostgreSQL als Serving-Schicht, einschließlich pgvector für semantische Suche, pg_trgm für Fuzzy-Matching, Trade-offs zwischen HNSW und IVFFlat, Index-Tuning und Verwaltung von interaktiven Latenzabfragen unter Nebenläufigkeit.
- Expertise in Datentransformation, -validierung und Vertragsdesign.
- Erfahrung im Aufbau von Data-Test- und Observability-Frameworks.
- Arbeitskenntnisse in Cloud-Speicher und Identitätsmanagement über AWS, Azure und GCP – einschließlich S3, ADLS Gen2, GCS, Cross-Cloud-Kopie, IAM-Rollen und Speicheranmeldeinformationen.
- Echte Neugier auf KI-Agenten und deren Datenkonsum, mit einem Verständnis dafür, was ein Datensatz für Agenten lesbar macht.
Wünschenswert
- Erfahrung mit probabilistischen Entitätsauflösungstechniken und -werkzeugen.
- Vertrautheit mit Knowledge-Graph-Konzepten und Graph-Abfragesprachen.
- Erfahrung mit KI/ML-Workflows und Feature Engineering für machine learning-Modelle.
Was Sie von uns bekommen
Wenn Sie eine außergewöhnliche Karriere in einem preisgekrönten Unternehmen aufbauen möchten, sind Sie hier genau richtig. Wir glauben, dass jeder bei Causeway eine wichtige Rolle für unseren Erfolg spielt. Causeway wird von Neugier angetrieben und ist ein Ort für Menschen, die vor Positivität strahlen und vor Ehrgeiz brennen.
Unser Team ist alles, also werden wir uns gut um Sie kümmern. Tatsächlich messen wir dem Wohlbefinden die gleiche Priorität bei wie unseren anderen Geschäftszielen. Wir sind starke Befürworter einer Work-Life-Balance und bieten hybrides Arbeiten neben der Möglichkeit, in modernen, kollaborativen Büros zu arbeiten.
Mehr Möglichkeiten mit einem Profil
Für mehr Stellen berücksichtigt werden, ohne den ganzen Prozess zu wiederholen? Erstellen Sie Ihr Profil, damit Unternehmen auf Nort Sie finden.
Profil erstellen