Senior Data Engineer (Azure Databricks / Airflow)

................ Für unseren Kunden aus der Finanzbranche in Basel , suchen wir eine:n erfahrene:n, motivierte:n und aufgeschlossene:n Senior Data Engineer (Azure Databricks / Airflow) . In dieser Rolle entwickelst und betreibst du moderne Data Products und Data Pipelines und gestaltest gleichzeitig die Weiterentwicklung der Data Platform von der On-Premise-Umgebung hin zu Azure Databricks. Deine Aufgaben: Entwicklung und Weiterentwicklung von Data Products – von der Datenaufnahme über Transformation und Aufbereitung bis zur Bereitstellung für Konsumenten Konzeption, Implementierung und Betrieb von Datenpipelines und Transformationen mit Python, SQL und Apache Airflow Sicherstellung von Datenqualität, Performance und zuverlässigem Betrieb der Data Pipelines Mitarbeit an der Weiterentwicklung der Data Platform und Data Architecture sowie an Architekturentscheidungen Aktive Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner Unterstützung der Anwender bei datenbezogenen Fragestellungen, der Nutzung der Plattform und Python-Programmierung Monitoring und Troubleshooting von Datenpipelines, Datenqualität und Plattformkomponenten Mitarbeit bei der Migration und Transformation der bestehenden On-Premise-Data-Platform nach Azure Databricks Unterstützung bei operativen Aufgaben im Cloud- und Plattformumfeld Dein Profil: Mehrjährige Erfahrung als Data Engineer mit fundierten Kenntnissen in Python und SQL Sehr gute praktische Erfahrung mit Apache Airflow , insbesondere bei der Erstellung und Verwaltung von DAGs Sehr gute SQL- und PostgreSQL-Kenntnisse Erfahrung mit Python Data-Engineering-Tools wie pandas, Polars und Poetry Erfahrung mit Docker, Kubernetes, OpenShift und S3-kompatiblem Storage (z. B. MinIO) Erfahrung mit Azure Databricks bzw. mit Data Engineering im Databricks-Umfeld Vertrautheit mit JupyterHub und explorativen Datenumgebungen Kenntnisse im Bereich Data Cataloging, idealerweise mit Acryl DataHub Gutes Verständnis von Data Mesh, insbesondere Data Contracts, sowie von Lakehouse-Architekturen Interesse an Cloud-Migrationen und der Weiterentwicklung moderner Data Platforms Ausgeprägte Kommunikations- und Teamfähigkeit sowie Freude daran, technische und nicht-technische Anwender zu unterstützen Selbstständige, proaktive Arbeitsweise und Ownership für die eigenen Deliverables Fliessende Deutsch und Englischkenntnisse in Wort und Schrift