Data Engineer

Como Data Engineer, serás un líder técnico clave, responsable de diseñar, construir y operar arquitecturas y pipelines de datos de alta complejidad, escalabilidad y rendimiento. Liderarás la integración de fuentes de datos diversas y la transformación de grandes volúmenes de información para soportar soluciones de analítica avanzada e inteligencia artificial. Tendrás un impacto significativo en la dirección técnica de nuestra plataforma de datos, mentorizando a otros y resolviendo los desafíos más difíciles relacionados con la calidad, gobernanza y eficiencia de los datos.

Este Puesto Exige

• Liderazgo en el Desarrollo de Pipelines de Datos: Diseñar y construir código optimizado y escalable para pipelines de datos complejos y distribuidos (batch y streaming), aplicando patrones de diseño de datos avanzados y promoviendo las mejores prácticas.

• Diseño de Estrategias de Calidad y Pruebas para Datos: Diseñar e implementar estrategias de prueba robustas para pipelines y conjuntos de datos (incluyendo pruebas de calidad de datos), y guiar a otros en la escritura de pruebas de alta calidad.

• Depuración Avanzada y Observabilidad: Depurar problemas complejos en sistemas de datos distribuidos, identificando rápidamente la causa raíz de fallos de datos o pipelines. Diseñar y optimizar sistemas de monitoreo y logging para garantizar la observabilidad completa de la plataforma de datos.

• Modelado y Arquitectura de Datos: Diseñar modelos de datos complejos para data warehouses, data lakes o lake houses, y definir estrategias de modelado de datos.

• Gestión y Optimización de Infraestructura de Datos: Administrar y optimizar bases de datos y sistemas de almacenamiento de datos, y participar en la selección e implementación de tecnologías de infraestructura de datos (ej. Hadoop, Snowflake, Databricks, MS Fabric).

• Seguridad y Gobernanza de Datos: Implementar medidas de seguridad robustas en el desarrollo de pipelines de datos y comprender y contribuir a los conceptos de gobernanza de datos.

• Pensamiento Económico y Optimización: Proponer soluciones de datos que optimizan el valor y la eficiencia económica (ej. costo de almacenamiento, rendimiento de consultas, optimización de recursos).

• Mentoría y Liderazgo Técnico: Mentorizar activamente a Data Engineers junior y medianos en el equipo, compartiendo conocimientos avanzados y fomentando el crecimiento profesional.

• Comunicación e Influencia: Comunicar ideas técnicas complejas de datos de manera clara a audiencias diversas (técnicas y no técnicas), y dar retroalimentación constructiva y accionable sobre enfoques y soluciones de ingeniería de datos.

Requisitos

• Experiencia Técnica Avanzada en Datos: Dominio experto de Python y SQL. Experiencia profunda en el diseño, desarrollo y optimización de pipelines ETL/ELT complejos utilizando frameworks y herramientas de procesamiento de datos distribuidos (ej. Apache Spark, Apache Kafka, Flink).

• Modelado y Arquitectura de Datos: Capacidad probada para diseñar modelos de datos complejos para data warehouses, data lakes y lake houses, y experiencia en el diseño de arquitecturas de datos escalables y resilientes.

• Dominio de Plataformas en la Nube: Experiencia avanzada con plataformas en la nube (AWS, Google Cloud, Azure) y sus servicios de datos para Big Data y analítica avanzada.