Jobless Developer
PROSTAFF Schweiz GmbH logo

Posted 1 month ago

Open

Data Engineer – Python / Airflow / Azure Databricks (m/w/d)

Basel, SwitzerlandOn-site

AI Summary

Data Engineer responsible for developing and maintaining data products, building ingestion and transformation pipelines, ensuring data quality and performance, managing Apache Airflow DAGs, and supporting the migration of an on-premise data platform to Azure Databricks and a Lakehouse architecture.

About this role

Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.

  • Entwicklung und Weiterentwicklung von Data Products

  • Aufbau und Pflege von Ingestion- und Transformationspipelines

  • Sicherstellung von Datenqualität und Performance

  • Entwicklung und Verwaltung von Apache-Airflow-DAGs

  • Mitarbeit bei Architekturentscheidungen rund um die Data Platform

  • Unterstützung der Migration in Richtung Azure Databricks

  • Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner

  • Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen

  • Mehrjährige Erfahrung als Data Engineer

  • Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry

  • Fundierte Erfahrung mit Apache Airflow

  • Sehr gute SQL- und PostgreSQL-Kenntnisse

  • Erfahrung mit Azure Databricks

  • Kenntnisse in Docker, Kubernetes oder OpenShift

  • Erfahrung mit Azure DevOps / CI/CD

  • Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen

  • Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3

  • Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit

Skills

Acryl DataHubApache AirflowAzure DatabricksAzure DevOpsCI/CDData ContractsData MeshDockerJupyterHubKubernetesLakehouseMinIO S3OpenShiftPandasPoetryPolarsPostgreSQLPythonSQL

Explore related jobs

Browse these categories

Market data for data engineer roles

All reports →