Senior Data Engineer Databricks (m/f/d)
Senior Data Engineer Databricks (m/f/d)
This job was originally posted in Spanish and automatically translated to English. You'll most likely need Spanish to apply.
Job Description
Company Description
T-Systems is part of the Deutsche Telekom group, with approximately 30,000 employees worldwide. We create technology with purpose to generate a positive impact on society. We are looking for curious talent, eager to learn, take on challenges, and contribute ideas that transform our customers' experience.
We trust people: we offer autonomy, continuous support, and a collaborative environment to grow without limits. We are one global team, guided by respect, integrity, and a passion for doing better every day.
Job Description
Responsibilities:
- Definition, design, and evolution of the data platform's ETL/ELT processes, ensuring alignment with business requirements.
- Design and implement data ingestion, transformation, and persistence processes in Data Lake, Data Warehouse, or Lakehouse environments.
- Establish and ensure data quality assurance, defining controls, validations, business rules, and traceability mechanisms.
- Define technical standards, best practices, and development patterns for data pipelines.
- Ability to act as the technical lead for the Data Engineering team, providing expert support, code review, and mentoring.
- Direct communication with the client in a technical expert role, participating in design decision-making and the definition of the data strategy.
- Coordinate with architects, analysts, BI teams, and data science teams to ensure the consistency of the data ecosystem.
- Optimize the performance, scalability, and reliability of data processes in production environments.
- Document the architecture, data flows, and critical processes of the platform.
Requirements
Essential:
- More than 6 years of experience in Data Engineering and data integration projects.
- Extensive experience in the definition and implementation of complex ETL/ELT processes.
- Advanced proficiency in Databricks, as well as Python, SQL, and distributed processing with Spark / PySpark.
- Experience in designing modern data architectures (Data Lake, Data Warehouse, Lakehouse).
- Solid knowledge of data quality assurance (validations, controls, reconciliations, data lineage).
- Experience working in cloud environments (Azure, AWS, or GCP).
- Knowledge and use of CI/CD and version control with Git applied to data pipelines.
- Ability to technically lead teams.
- Communication skills and ability to interact with technical and business profiles.
- Experience working with agile methodologies.
Desirable:
- Databricks Data Engineering Certification
- Experience with orchestration tools
- Knowledge of DataOps and advanced pipeline automation.
- Cloud or data engineering certifications (Azure / AWS / GCP Data Engineer).
Additional Information
What do we offer you?
Environment and flexibility
- International, dynamic, and collaborative environment
- T-Social: social initiatives (sports, community, health, ...)
- Hybrid work model (remote/on-site)
- Flexible schedule
- 4 weeks of remote work per year
Professional development
- Tailored training: access to Coursera so you can learn what you want, when you want
- Weekly language classes (English, Spanish, and German)
- Global Mentoring sessions and Experience Days
Compensation and benefits
- Flexible compensation plan (health insurance, restaurant vouchers, childcare, transport)
- Telemedicine
- Life and accident insurance
- Social fund
Well-being and free time
- More than 26 working days of vacation per year
- Free access to specialists (health, well-being, and legal advice)
- 100% of salary in case of medical leave
And many more advantages of being part of T-Systems!
If you are looking for a new challenge, feel free to send us your CV. Join our team!
T-Systems Iberia will only process CVs of candidates who meet the requirements specified for each offer.
View original advert (Spanish)
DescripciΓ³n de la empresa
T-Systems es parte del grupo Deutsche Telekom, con unos 30.000 empleados en todo el mundo. Creamos tecnologΓa con propΓ³sito para generar un impacto positivo en la sociedad. Buscamos talento curioso, con ganas de aprender, asumir retos y aportar ideas que transformen la experiencia de nuestros clientes.
Confiamos en las personas: ofrecemos autonomΓa, apoyo continuo y un entorno colaborativo donde crecer sin lΓmites. Somos un solo equipo global, guiados por el respeto, la integridad y la pasiΓ³n por hacerlo mejor cada dΓa.
DescripciΓ³n del empleo
Responsabilidades:
- DefiniciΓ³n, diseΓ±o y evoluciΓ³n de los procesos ETL/ELT de la plataforma de datos, garantizando su alineaciΓ³n con los requisitos de negocio.
- DiseΓ±ar e implementar procesos de ingesta, transformaciΓ³n y persistencia de datos en entornos Data Lake, Data Warehouse o Lakehouse.
- Establecer y velar por el aseguramiento de la calidad del dato, definiendo controles, validaciones, reglas de negocio y mecanismos de trazabilidad.
- Definir estΓ‘ndares tΓ©cnicos, buenas prΓ‘cticas y patrones de desarrollo para los pipelines de datos.
- Capacidad para actuar como referente tΓ©cnico del equipo de Data Engineering, proporcionando soporte experto, revisiΓ³n de cΓ³digo y mentoring.
- InterlocuciΓ³n directa con el cliente en rol de experto tΓ©cnico, participando en la toma de decisiones de diseΓ±o y en la definiciΓ³n de la estrategia de datos.
- Coordinarse con arquitectos, analistas, equipos de BI y de ciencia de datos para asegurar la coherencia del ecosistema de datos.
- Optimizar el rendimiento, escalabilidad y fiabilidad de los procesos de datos en entornos productivos.
- Documentar la arquitectura, los flujos de datos y los procesos crΓticos de la plataforma.
Requisitos
Imprescindibles:
- MΓ‘s de 6 aΓ±os de experiencia en proyectos de Data Engineering e integraciΓ³n de datos.
- Amplia experiencia en definiciΓ³n e implementaciΓ³n de procesos ETL/ELT complejos.
- Dominio avanzado Databricks, asi como de Python, SQL y procesamiento distribuido con Spark / PySpark.
- Experiencia en diseΓ±o de arquitecturas de datos modernas (Data Lake, Data Warehouse, Lakehouse).
- Conocimiento sΓ³lido de aseguramiento de calidad del dato (validaciones, controles, reconciliaciones, data lineage).
- Experiencia trabajando en entornos cloud (Azure, AWS o GCP).
- Conocimiento y uso de CI/CD y control de versiones con Git aplicados a pipelines de datos.
- Capacidad para liderar tΓ©cnicamente a equipos.
- Habilidades de comunicaciΓ³n y capacidad de interlocuciΓ³n con perfiles tΓ©cnicos y de negocio.
- Experiencia trabajando con metodologΓas Γ‘giles.
Valorables:
- CertificaciΓ³n Data Engineering de Databricks
- Experiencia con herramientas de orquestaciΓ³n
- Conocimientos de DataOps y automatizaciΓ³n avanzada de pipelines.
- Certificaciones cloud o de ingenierΓa de datos (Azure / AWS / GCP Data Engineer).
InformaciΓ³n adicional
ΒΏQuΓ© es lo que le ofrecemos?
Entorno y flexibilidad
- Ambiente internacional, dinΓ‘mico y colaborativo
- T-Social: iniciativas de carΓ‘cter social (deportivas, comunitarias, de salud, ...)
- Modelo de trabajo hΓbrido (teletrabajo/presencial)
- Horario flexible
- 4 semanas de teletrabajo al aΓ±o
Desarrollo profesional
- FormaciΓ³n a tu medida: acceso a Coursera para que aprendas lo que quieras, cuando quieras
- Clases semanales de idiomas (inglΓ©s, espaΓ±ol y alemΓ‘n)
- Sesiones de MentorΓa a nivel global y Experience Days
CompensaciΓ³n y beneficios
- Plan de compensaciΓ³n flexible (seguro mΓ©dico, tickets restaurante, guarderΓa, transporte)
- Telemedicina
- Seguro de vida y accidentes
- Fondo social
Bienestar y tiempo libre
- MΓ‘s de 26 dΓas laborables de vacaciones al aΓ±o
- Acceso gratuito a especialistas (salud, bienestar y asesoramiento legal)
- 100% del salario en caso de baja mΓ©dica
Β‘Y muchas mΓ‘s ventajas de formar parte de T-Systems!
Si estΓ‘s buscando un nuevo desafΓo, no dudes en enviarnos tu CV. Β‘Γnete a nuestro equipo!
T-Systems Iberia solo procesarΓ‘ los CV de las candidaturas que cumplan los requisitos especificados para cada oferta.