Ingeniero/a de Datos Senior (Azure Databricks)

Sobre el cargo

Buscamos un/a Ingeniero/a de Datos con mínimo 5 años de experiencia para diseñar, construir y mantener pipelines de datos escalables sobre Azure. Trabajarás con Azure Databricks, PySpark y Azure Data Factory para llevar datos desde múltiples fuentes hasta el lago de datos, garantizando calidad, trazabilidad y rendimiento.

• Cargo: Ingeniero/a de Datos
• Experiencia: mínimo 5 años en ingeniería de datos
• Ubicación / modalidad: Medellín / Híbrido
• Tipo de contrato: Indefinido

Responsabilidades

• Diseñar, desarrollar y mantener pipelines de ingesta y transformación (ETL/ELT) en Azure Databricks con PySpark y SQL.
• Orquestar flujos de datos con Azure Data Factory: integración de fuentes, programación, parametrización y monitoreo.
• Modelar y organizar datos en Azure Data Lake bajo arquitecturas por capas (bronze, silver, gold).
• Optimizar procesos de computación distribuida: particionamiento, manejo de skew, uso eficiente de clusters y costos.
• Implementar controles de calidad, validación y trazabilidad de los datos.
• Versionar código con Git y participar en revisiones de código (pull requests).
• Gestionar tareas y despliegues en Azure DevOps (Boards, Repos y pipelines de CI/CD).
• Documentar soluciones y trabajar con analistas, científicos de datos y áreas de negocio para entender sus necesidades.

Requisitos

• Mínimo 5 años de experiencia como Ingeniero/a de Datos o en un rol equivalente.
• Profesional en Ingeniería de Sistemas, Informática, Electrónica, Industrial, Matemáticas, Estadística o carreras afines.
• Azure Databricks: notebooks, jobs/workflows, clusters y Delta Lake.
• PySpark: transformaciones, joins, funciones de ventana y optimización de jobs.
• Computación distribuida: fundamentos de Spark (particiones, shuffles, ejecución perezosa, planes de ejecución).
• Azure Data Factory: pipelines, linked services, datasets, triggers y parametrización.
• Azure Data Lake Storage: organización de zonas, formatos (Parquet, Delta) y permisos.
• Python: código limpio, modular y probado.
• SQL: consultas avanzadas (CTE, funciones de ventana, agregaciones) y modelado de datos.
• Git: ramas, merge/rebase, resolución de conflictos y flujo de pull requests.
• Sólidos fundamentos de ingeniería de datos: ETL/ELT, modelado dimensional, calidad y gobierno de datos.

Deseable

• Azure DevOps: Repos, Boards y pipelines de CI/CD.
• Unity Catalog y buenas prácticas de gobierno de datos en Databricks.
• Infraestructura como código (Terraform o Bicep) y Databricks Asset Bundles.
• Pruebas automatizadas de datos y código (pytest, Great Expectations o similares).
• Certificaciones de Databricks (Data Engineer Associate/Professional) o de Microsoft (DP-700; DP-203 vigente también es válida).
• Inglés técnico para lectura de documentación.

Competencias personales

• Pensamiento analítico y orientación a la resolución de problemas.
• Autonomía y capacidad para gestionar tareas de principio a fin.
• Comunicación clara con perfiles técnicos y de negocio.
• Trabajo en equipo bajo metodologías ágiles.
• Atención al detalle y compromiso con la calidad del dato.

Qué ofrecemos

• Proyectos de datos retadores sobre un stack moderno en Azure.
• Crecimiento profesional y apoyo para certificaciones.