CORE RESPONSABILITIES

• Diseñar, construir y mantener pipelines ETL utilizando Apache Spark, siguiendo las directrices y estándares establecidos por el Data

Engineering Lead

• Realizar transformaciones complejas, cálculos avanzados y joins en grandes volúmenes de datos en un entorno cloud, garantizando la

escalabilidad, seguridad y rendimiento del sistema

• Asegurar la calidad y consistencia de los datos procesados mediante pruebas automatizadas y validaciones

• Documentar procesos ETL y mantener actualizada la arquitectura bajo la supervisión y guía del Lead

• Coordinarse con el Cloud Engineer para garantizar la integración fluida de los pipelines con la infraestructura de AWS

• Documentar los procesos ETL según los estándares definidos por el eq

SKILLS REQUIRED

• Experiencia en el desarrollo de pipelines ETL con Apache Spark y Python

• Conocimiento práctico de servicio AWS como S3, RDS (PostgreSQL) e IAM, AWS Glue, Amaxon EMR y Lambda

• Solidas habilidades en SQL

• Familiaridad con sistemas de control de versiones y flujos de CI/CD

• Experiencia con procesamiento de datos en tiempo real (deseable)

• Certificación AWS realización con datos o arquitecturas cloud (deseable)

• Conocimiento de conceptos de inversiones y modelos de datos de banca privada

(deseable)

• Buen nivel de inglés (deseable)