Unser Kunde sucht aktuell einen Data Engineer (m/w/d).
Rahmendaten:
Start: 01.09.2026
Laufzeit: 31.12.2026
Auslastung: 100%
Einsatzort: 90% Remote und ca. 1-2 Tage vor Ort in München pro Monat
Aufgaben:
Erweiterungen des Datenmodells
• Integration neuer Datenquellen in die bestehende Pipeline-Architektur;
• Entwurf, Entwicklung und Implementierung optimierter, kuratierter Schemata.
Industrialisierung von Proof-of-Concepts (PoC)
• Überprüfung bestehender Python-Notebooks, die PoCs enthalten;
• Refactoring und Implementierung von PoCs innerhalb der Produktions-Pipeline-Architektur;
• Entwurf und Bereitstellung fortgeschrittener Datenvisualisierungen innerhalb des bestehenden Power BI-Berichts;
• Konfiguration von MLflow für die Modellverfolgung und das Lebenszyklusmanagement;
• Orchestrierung robuster Pipelines und Planung von Jobs;
• direkte Integration der PoC-Ergebnisse in das zentrale Berichtsdatenmodell.
Entwurf und Implementierung des Berichtsdatenmodells
• Entwurf und Aufbau von Datenaufbereitungsschichten, die für die Power-BI-Einbindung optimiert sind,
• Optimierung der Abfrageleistung und des zugrunde liegenden Datenmodells hinsichtlich Geschwindigkeit und Skalierbarkeit.
Qualitätssicherung der Datenpipeline
• Implementierung von Testprotokollen zur Überwachung von Datenabweichungen und zum Schutz vor unerwarteter Dateneingabe.
Metadaten-Governance und Katalogisierung
• Bereitstellung umfassender Metadaten im Databricks-Datenkatalog und Zuordnung geeigneter Klassifizierungen zur Datensensibilität. Bereitstellung, Support und Dokumentation
• Verwaltung der Produktionsfreigabe aller entwickelten Komponenten,
• Bereitstellung einer vollständigen technischen Dokumentation des Datenmodells, einschließlich gebrauchsfertiger Beispielabfragen.
Erweiterungen der Power BI-Lösung
• Entwicklung und Bereitstellung fortschrittlicher Datenvisualisierungen innerhalb des bestehenden Power BI-Berichts,
• Konfiguration und Test der Row-Level Security (RLS), um einen sicheren Datenzugriff zu gewährleisten,
• Zusammenfassung und Umsetzung komplexer Analyseergebnisse in intuitive Dashboards für die Geschäftsinteressenten
Arbeitsweise:
• Dokumentation: Alle Arbeiten werden auf Confluence dokumentiert. Darüber hinaus werden in den Code-Repositories bewährte Dokumentationspraktiken unter Verwendung von Markdown-Dateien (.md) befolgt.
• Planung und Aufgabenmanagement: Jira wird für die Planung, Nachverfolgung und Abwicklung aller Aufgaben verwendet. Der Fortschritt bei den zu erbringenden Leistungen wird kontinuierlich in Jira dokumentiert.
• Überprüfungsprozess: Innerhalb des internen Teams werden Überprüfungen durchgeführt, um Qualität und Abstimmung sicherzustellen.
• Wissenstransfer: Der Auftragnehmer schult das interne Team in Bezug auf Best Practices und Implementierungsdetails, um eine langfristige Eigenverantwortung und Selbstständigkeit zu gewährleisten.
Anforderungen:
Der Kandidat muss eine fundierte Erfolgsbilanz in den Bereichen Data Engineering auf Unternehmensebene, MLOps und Business Intelligence vorweisen können, die sich durch die folgenden Qualifikationen auszeichnet:
Kernkompetenzen im Bereich Software- und Data-Engineering
• Fundierte Erfahrung mit Python: Mehrjährige berufliche Erfahrung in der Softwareentwicklung mit Python unter Einhaltung bewährter Entwicklungspraktiken (z. B. Clean Code, modularer Aufbau, Unit-Tests und Versionskontrolle).
• Databricks auf AWS: Mehrjährige praktische Erfahrung beim Aufbau, der Optimierung und der Bereitstellung von Daten-Workloads in Databricks-Umgebungen auf AWS.
• PySpark und Data Warehousing: Fundierte Kenntnisse in PySpark für die Verarbeitung großer Datenmengen, gepaart mit tiefgreifender Expertise in modernen Data-Warehousing-Prinzipien.
Datenmodellierung & Business Intelligence
• Fortgeschrittene Datenmodellierung: Umfassende Erfahrung im Entwurf und in der Implementierung komplexer Datenmodelle, kuratierter Schemata und effizienter Pipeline-Orchestrierungen.
• Power BI & Analytics-Bereitstellung: Fundierte Kenntnisse in Power BI, einschließlich des Entwurfs intuitiver Dashboards, fortgeschrittener Datenvisualisierungstechniken, der Abfrageoptimierung für eine schnelle Berichtsleistung sowie der Implementierung von Row-Level-Security-Konzepten (RLS).
Maschinelles Lernen und kollaborative Arbeitsabläufe
• MLOps und Bereitstellung: Praktisches Verständnis der Prinzipien der Bereitstellung von maschinellem Lernen, der Modellverfolgung mit mlflow und der Orchestrierung von Pipelines auf Produktionsniveau.
• Zusammenarbeit: Unabdingbare Fachkenntnisse in Bezug auf Tools und Methoden für kollaborative Datenwissenschaft und Versionskontrolle (z. B. Git, Projektverfolgung, agile Arbeitsabläufe).