Streaming Data Engineer

Streaming Data Engineer APPLY We usually respond within a week En SDG Group somos líderes globales en Big Data, Business Intelligence, Analytics e Inteligencia Artificial. Desde 1994 hemos acompañado a la mitad del IBEX-35 y a algunas de las compañías más destacadas a nivel internacional en su transformación digital, convirtiendo los datos en soluciones de alto impacto gracias a nuestras alianzas estratégicas con Microsoft, Google y AWS, y a los mejores aceleradores tecnológicos del mercado. Nuestro equipo de Data Technologies es el epicentro donde aterrizan proyectos desafiantes y las soluciones más disruptivas. Trabajamos de forma transversal con clientes de múltiples sectores, siempre a la vanguardia tecnológica, combinando innovación, expertise y autonomía real . Diseñamos arquitecturas que marcan estándares y creamos aceleradores que transforman. No solo se ejecutan proyectos, sino que se desarrollan aceleradores, artefactos y pruebas de concepto. Aquí no solo presentarás proyectos, desarrollarás casos de uso innovadores, colaborarás con expertos de primer nivel y posicionarás a SDG como referente. ➡️ ¿Cómo será tu día a día? 🔹 Diseñarás y desarrollarás soluciones end-to-end para procesar datos en tiempo real , desde el problema de negocio hasta los pipelines en streaming, escalables y de baja latencia. 🔹 Trabajarás con tecnologías como Apache Kafka, Apache Flink, Spark Structured Streaming, Kafka Streams y Apache Beam , generando insights en tiempo real. 🔹 Procesarás y almacenarás datos en streaming utilizando formatos como Delta Lake con CDC, Apache Iceberg, transformando en tiempo real con ksqlDB, Kafka Streams o funciones lambda , garantizando eficiencia y baja latencia en entornos cloud (AWS MSK, AWS Kinesis, Azure Event Hubs, GCP Pub/Sub). 🔹 Definirás arquitecturas avanzadas siguiendo metodologías como Kappa Architecture, Lambda Architecture y Real-Time Data Lakehouse , mejorando la gestión y aprovechamiento de datos en streaming. 🔹 Colaborarás con equipos multidisciplinares y stakeholders, transformando requerimientos complejos en soluciones de procesamiento real-time eficientes. 🔹 Explorarás y evaluarás tecnologías emergentes, como Confluent Cloud, Databricks Delta Live Tables, Clickhouse, Apache Pinot, RedPanda, RisingWave ... contribuyendo a mantener nuestros proyectos a la vanguardia. 🔹 Impulsarás la calidad y observabilidad de datos en tiempo real aplicando DataOps, Stream Quality Monitoring y CI/CD , asegurando pipelines confiables y resilientes. ➡️ ¿Qué te hará triunfar en esta posición? 🔹 Formación en Ingeniería Informática, Telecomunicaciones, Matemáticas, Física, o similares. 🔹 Experiencia en procesamiento de datos en tiempo real : al menos 5 años trabajando con arquitecturas de streaming y event-driven en entornos de alta disponibilidad, utilizando lenguajes como Python, Scala o Java y tecnologías como Apache Kafka, Apache Flink, Spark Structured Streaming, Kafka Streams, ksqlDB o Confluent Cloud; conocimiento de arquitecturas real-time (Kappa, Lambda, Real-Time Lakehouse) y tecnologías de almacenamiento como Delta Lake, Apache Iceberg o Apache Hudi. 🔹 Buenas prácticas y gestión de código : Git, CI/CD para pipelines streaming, monitorización de latencia y throughput, control de calidad de datos en tiempo real, exactly-once semantics y gestión de state en sistemas distribuidos. 🔹 Mentalidad de innovación : Curiosidad por tecnologías emergentes en el ecosistema streaming (Apache Pulsar, Flink, RisingWave, Materialize), con disposición a experimentar y proponer arquitecturas de baja latencia y alta resiliencia. 🔹 Que puedas comunicarte en inglés para trabajar en entornos globales y colaborar con equipos internacionales. Valoramos también: 🔹 Conocimientos avanzados en orquestación, DevOps para datos, gobernanza, calidad y seguridad, así como experiencia con Data Mesh y arquitecturas distribuidas. 🔹 Experiencia en ML pipelines y MLOps integrados con Big Data, usando herramientas como MLflow, SageMaker, Vertex AI o Kubeflow. ➡️ ¿Qué nos hace diferentes? Aquí no somos una empresa más... ¡somos un equipo que va a por todas! 🔹 Tecnología e innovación sin límites . La tecnología y los datos son nuestra esencia. Trabajamos con lo más avanzado del mercado y te formamos para que domines las herramientas que están redefiniendo la industria. Tendrás acceso a las últimas plataformas y tecnologías: si algo es nuevo, lo estamos usando o evaluando. 🔹 Desarrollo profesional a tu medida . Aquí no hay carreras rígidas ni caminos predefinidos: cada cierto tiempo se revisan tus logros y se definen nuevos objetivos. Podrás evolucionar hacia roles de arquitectura, tech lead, referente tecnológico o especialista en dominios complejos, manteniendo siempre un impacto directo en la tecnología y en las decisiones clave de los proyectos. 🔹 Un equipo que te acompaña desde el primer día . Desde el minuto 1 formas parte del equipo de Data Technologies, formado por numerosos referentes donde la colaboración es el pilar fundamental. 🔹 Propósito y valores que nos definen . Creemos firmemente en la diversidad y la inclusión como motores esenciales de la creatividad y la innovación. Es lo que nos permite superar cualquier desafío y construir un entorno donde cada perspectiva enriquece el resultado final. 🌍💜 📌 Y, por si fuera poco… 🔸Posición estable y con gran proyección profesional, formando parte de un equipo que está creciendo progresivamente. 🔸 Flexibilidad total. Contamos con un modelo de trabajo adaptable, con opción 100% remota o híbrida, orientado a facilitar el equilibrio entre la vida profesional y personal. 🔸 Jornada intensiva en julio y agosto, además de los viernes. 🔸 Salario según tu formación y experiencia, con revisiones basadas en resultados. 🔸 Apoyo económico para el teletrabajo. 🔸 Acceso a formaciones, certificaciones oficiales, conferencias y cursos. Si buscas crecer profesionalmente en el ámbito de datos, trabajar con tecnologías de vanguardia y formar parte de un equipo orientado al desarrollo y la excelencia, esta es tu oportunidad. Mientras tanto, entérate de más: https://medium.com/sdg-group Team Data Technologies Role Big Data Engineer Locations Madrid , Valencia, Santiago de Compostela , Remote, Logroño , Barcelona Remote status Fully Remote Employment type Full-time Employment level Technicians Madrid Valencia Santiago de Compostela Remote Logroño Barcelona About SDG Group SDG Group is a global consulting firm specialized in Data & Analytics. We are catalysts of innovation. We combine our unique approach to business challenges with the synergies and reach of a truly global firm. This is SDG Group, where the AI-driven futures we build with our clients are backed by three decades of experience in data, analytics, and business insights. SDG Group works on the pillars of a Triple Expertise, incorporating business process skills by domain with a technological knowledge and a partnership with the most important and innovative software providers. Our portfolio also features cutting-edge laboratories and the development of Advanced Analytics & AI technologies. 🔝 OUR MARKET POSITION: SDG Group has a market leader position both at a global and a local level, recognised by the main market analysts in the AI, Data & Analytics space. 👨🏻‍💻 +2,500 EMPLOYEES: Driven by talent and innovation. We are constantly growing by attracting and retaining the best talents from the market. 🌍 GLOBAL PRESENCE: Customer proximity is our purpose. Since November 2020 SDG joined Alten Group. 🤩 +185M VOLUME OF ACTIVITY: A growth mind-set to keep moving forward. 🤝 +700 CUSTOMER BASE: Our customer at the center. We serve an ever-increasing number of clients around the world. __ Copyright © 2026 P.I. 13060250159 All rights reserved. SDG Group refers to the SDG network and/or one or more of its member firms, each of which is a separate legal entity. Founded in 1994 Co-workers more than 2,500