Jobless Developer
TECDATA ENGINEERING logo

Posted 14 days ago

Senior Data Engineer Big Data & CloudTECDATA ENGINEERING · Madrid

Senior Data Engineer Big Data & Cloud

MadridHybrid

AI Summary

Senior data engineer who autonomously architects and builds a Big Data platform on Cloudera and Spark, with partial work on Google Cloud Platform. Designs batch and real-time data pipelines and works in Scrum teams.

About this role

Buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform

Requisitos

Big Data (imprescindible) Más de 3 años diseñando y desarrollando procesos batch y real time con Apache Spark en el ecosistema Cloudera.

Alto nivel de Scala sobre Apache Spark; Java. Modelado en Apache HDFS/Hive, Apache Kudu y Apache Solr.

Conocimiento profundo de Apache Kafka, a nivel de arquitectura y de desarrollo.

Cloud (GCP) Experiencia desarrollando sobre Google Cloud Platform. BigQuery (modelado), dbt/SQL y Python. Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.

Transversal CI/CD con Git/Bitbucket y Jenkins. Planificación de procesos con Control-M. Trabajo en equipos Scrum.

Autonomía, capacidad de decisión y buena comunicación con perfiles técnicos y de negocio.

Trabajo hibrido en madrid Alcobendas 2 o 3 Dias Remoto

Skills

Apache HDFSApache HiveApache KafkaApache KuduApache SolrApache SparkBigQueryBitbucketCI/CDClouderaCloud FunctionsCloud StorageControl-MDataflowDbtGCPGitJavaJenkinsPub/SubPythonScalaSCRUMSQL

Explore related jobs

Browse these categories

Market data for data engineer roles

All reports →