Data Engineer PySpark – AWS (Remoto)
Funciones y responsabilidades
Desarrollo y mantenimiento de pipelines de datos en PySpark en entornos cloud.
Implementación de procesos ETL/ELT sobre AWS.
Procesamiento de grandes volúmenes de datos en arquitecturas Big Data.
Integración de datos desde diferentes fuentes (S3, bases de datos, servicios internos).
Uso de servicios AWS como:
S3 para almacenamiento
Glue / EMR para procesamiento
Athena y/o Redshift para consulta y explotación
Desarrollo de scripts en Python para automatización y soporte de procesos.
Optimización del rendimiento de jobs Spark.
Validación, limpieza y control de calidad del dato.
Monitorización de procesos batch y resolución de incidencias.
Uso de SQL para análisis y verificación de datos.
Versionado de código con Git.
Documentación técnica de los desarrollos.
Trabajo colaborativo con equipos de Data, Analytics y Negocio.
- Ubicaciones
- Barcelona
- Estado remoto
- Completamente remoto
Barcelona
Lugar de trabajo y cultura
La clave es contar con un equipo humano extraordinariamente preparado y motivado, que renueva constantemente sus conocimientos, y que basa su trabajo en el diálogo continuo, la proximidad a nuestros clientes y l profesionalidad
Acerca de TECDATA ENGINEERING
TECDATA ENGINEERING es un proveedor líder de soluciones y servicios tecnológicos especializado en proyectos globales de tecnología avalado por su portfolio de servicios y productos enfocados a generar valor añadido, aumentar la ventaja competitiva y reducir costes para sus clientes. Estamos presentes en los sectores económicos más importantes: Banca, Telecomunicaciones, Seguros.