Jobless Developer
TalentHackers logo

Posted 22 months ago

Open

Platform Engineer/ SRE/DevOps

MadridHybrid

AI Summary

Designs, implements, and maintains data platform infrastructure and pipelines on AWS, automating workflows with Jenkins and Apache Airflow while managing EMR Serverless, S3, IAM, and monitoring solutions.

About this role

Resumen de ámbitos de mayor importancia:

  • Infraestructura y servicios AWS tipo EMR Serveles, IAM.
  • Conocimiento de levantamiento de Infra como Codigo (IaC) tipo terraform, CDK
  • Uso experto de Apache Airflow
  • Desarrollo de Cuadros de mando de monitoriazacion de infra en entornos como Grafana.
  • Devops -> Menos importante pero muy interesante si es experto en GITHUB ACTIONS

Empresas con perfiles potentes en este ámbito:

  • Keepler, Devoteam, Paradigma, Making Science, Accenture,
  • Como Platform engineer para Plataforma de Datos en AWS, serás responsable de diseñar, implementar y mantener la infraestructura y pipelines que soportan la plataforma de datos de nuestra organización.
  • El candidato ideal tendrá experiencia en la automatización de procesos mediante Jenkins/Github actions y Apache Airflow, la administración de sistemas de datos distribuidos en AWS (EMR Serverless, S3), y garantizará que nuestros sistemas sean seguros mediante el uso adecuado de AWS IAM. Serás una pieza clave para la operación continua, el despliegue automatizado y la resiliencia de nuestra plataforma de datos a gran escala.

Responsabilidades:

  • Implementar y gestionar pipelines de automatización y orquestación de flujos de trabajo usando Jenkins y Apache Airflow.
  • Administrar y optimizar el uso de AWS EMR Serverless para el procesamiento de grandes volúmenes de datos.
  • Gestionar el almacenamiento de datos en AWS S3, garantizando alta disponibilidad, optimización de costes y seguridad.
  • Configurar y gestionar políticas de acceso y seguridad en AWS IAM para asegurar la protección de los datos y la infraestructura.
  • Supervisar y mejorar la infraestructura mediante la implementación de soluciones de monitoreo y logging para asegurar la confiabilidad y rendimiento de la plataforma.
  • Colaborar con los equipos de desarrollo y datos para garantizar un entorno de despliegue continuo (CI/CD), utilizando herramientas como Jenkins.
  • Desarrollar automatizaciones para asegurar la estabilidad y resiliencia de los servicios, optimizando el uso de AWS y otras tecnologías.
  • Resolver incidentes y realizar mejoras en la disponibilidad y escalabilidad del entorno en la nube.

Requisitos cubrir varias de las siguientes necesidades:

  • Experiencia comprobada de al menos 3-5 años en roles de SRE o DevOps en plataformas de datos o entornos basados en la nube.
  • Amplia experiencia en AWS, con un enfoque en AWS EMR Serverless, S3 y IAM.
  • Conocimiento profundo de Jenkins para la automatización de despliegues y pipelines de integración continua.
  • Experiencia en la configuración y administración de Apache Airflow para la orquestación de flujos de trabajo de datos.
  • Experiencia en el desarrollo y despliegue de soluciones de infraestructura como código (IAC) utilizando herramientas como Terraform o CloudFormation.
  • Habilidades sólidas de scripting en lenguajes como Python, PySpark, Bash, o Shell.
  • Conocimientos en monitoreo de infraestructura y servicios mediante herramientas como Grafana, o CloudWatch.
  • Conocimiento de buenas prácticas de seguridad en AWS y experiencia en la gestión de accesos mediante AWS IAM.

Skills

Apache AirflowAWSBashCDKCI/CDCloudWatchEMR ServerlessGitHub ActionsGrafanaIaCIAMJenkinsPySparkPythonS3ShellTerraform

Explore related jobs

Browse these categories

Market data for devops / sre / platform engineer roles

All reports →