Ein etabliertes Unternehmen aus der Energiebranche (mittelgroßes bis konzernnahes Umfeld) sucht einen Senior Data Engineer / Data Product Engineer zur Weiterentwicklung moderner Datenprodukte auf Databricks.

Eckdaten:

• Start: 07/2026 (ASAP)
• Dauer: 6 Monate (Option auf Verlängerung)
• Remote/On-Site: Remote mit punktuellen Terminen in Berlin (hybrid nach Bedarf)
• Auslastung: Teilzeit, ca. 100 Tage gesamt (≈ 2–3 Tage/Woche)

DEINE CHALLENGE:

• Entwurf, Entwicklung und Optimierung von Databricks-Notebooks sowie strukturierten Workflows mit Fokus auf Modularität, Wiederverwendbarkeit und Wartbarkeit
• Aufbau und Weiterentwicklung performanter ETL/ELT-Pipelines auf Spark/Databricks innerhalb eines Data-Lake-Kontexts
• Management und Optimierung von Databricks-Tabellen (z. B. Storage-Layer-Optimierung, Partitionierung, Indizierung, Komprimierung) zur Kosten- und Performance-Steigerung
• Implementierung und Durchsetzung von Engineering-Best-Practices (Git, Branching, Releases, CI/CD, Testing, Monitoring) für produktionsreife Datenprodukte
• Konzeption und Umsetzung von Output-Ports (REST- und messaging-basiert) inkl. Definition von Performance-SLAs und Caching-Strategien
• Erstellung von Python-basierten Automatisierungs- und Orchestrierungsbausteinen inkl. Code-Reviews im Team
• Mitarbeit an sicherem, qualitativ hochwertigem Code unter Berücksichtigung von Governance-, Security- und Compliance-Anforderungen
• Technische Anforderungsanalyse in Refinements sowie verständliche technische Dokumentation für Betrieb und Weiterentwicklung

DEINE TALENTE:

• Must-have: 4+ Jahre Data Engineering mit Python in produktiven Umgebungen
• Must-have: 3+ Jahre in der Entwicklung von Datenprodukten (z. B. Databricks/Spark, Data Lake-Architekturen)
• Must-have: Erfahrung mit Git, Versionskontrolle, Release-Management sowie CI/CD (inkl. Tests/Quality Gates)
• Must-have: Praxis mit Output-Port-Konzepten (REST & messaging), SLAs, Caching sowie Schnittstellen-Design
• Sehr gut: Kenntnisse in Apache Spark, idealerweise ergänzt durch Airflow (Orchestrierung) und Kafka (Event-/Streaming-Patterns)
• Wünschenswert: Erfahrung mit Azure Data Engineering Stack (z. B. Azure-native Services im Datenökosystem)
• Wünschenswert: C# sowie Arbeit in einem .NET-Stack (inkl. Blazor) zur Integration in produktnahe Anwendungen
• Wünschenswert: Verständnis von Clean Architecture, Data Mesh-Prinzipien und Datenstrategie
• Sprachprofil: Deutsch mind. B2, Englisch mind. C1; sicher in Stakeholder-Kommunikation und Dokumentation
• Mindset: Bereitschaft, sich in Geschäftslogik einzuarbeiten und technische Lösungen eng am Use Case auszurichten

Jetzt bei consultingheads als Berater registrieren: 👉 https://app.consultingheads.com/kandidat/registrieren

Über uns
consultingheads ist das Expertennetzwerk, wenn Ergebnisse entscheiden. Wir bringen Sie mit den wirkungsstärksten Independent Consultants, Freelance Experts und Interim Managern zusammen – persönlich ausgewählt, schnell verfügbar und verlässlich im Projekt.

Was wir tun
Wo reine Algorithmen an ihre Grenzen stoßen, beginnt unsere Stärke: die persönliche Beratung. Wir analysieren gemeinsam Ihre Herausforderung und finden genau die Persönlichkeit, die fachlich und menschlich zu Ihnen passt.

Unser Netzwerk
Mit über 22.000 Experten eines der größten und sorgfältigst selektionierten im DACH-Raum, voller qualitätsgesicherter Berater, Fach- und Führungskräfte, die bereit sind, Ihre Projekte zum Erfolg zu führen.

Unser Ansatz
Wir kombinieren die Exzellenz einer Beratung mit der Flexibilität und Geschwindigkeit, die moderne Unternehmen brauchen. Handverlesen, ergebnisorientiert und immer partnerschaftlich. Seit 2016 vertrauen führende Unternehmen, Beratungen und Private-Equity-Gesellschaften auf uns – in mehr als 3.000 erfolgreichen Projekten.