Data Engineer – NiFi / PostgreSQL / Airflow - (H/F)
- Hiring from
- France
- Work type
- Hybrid
- Posted
625,790 remote jobs, straight from company career pages
100% free · New jobs every minute
Show job descriptionHide job description
📋 Contexte De La Mission :
Sur les marchés lyonnais, nous sommes incontournables sur le secteur public, bancaire, de la protection sociale, des mutuelles, des télécoms, du médical et de l'énergie. Nous travaillons en direct chez nos clients et nous les accompagnons sur leurs projets applicatifs et d'infrastructure, sur du Pilotage de projet, de l'assistance à Maîtrise d'Ouvrage et de l'expertise Data.
🎯 Venez renforcer nos équipes !
Afin d'accompagner un grand compte du secteur de l'énergie dans la valorisation de sa donnée achat, nous recrutons un Data Engineer qui nous apportera sa vision nouvelle ! Vous rejoindrez le pôle Données & Digital, opérateur de la donnée au sein de la Direction Achats Groupe, pour assurer le développement et le maintien en conditions opérationnelles d'une plateforme data à fort enjeu stratégique.
📍 Ça vous intéresse ?
Directement intégré à l'équipe data, vous interviendrez sur la conception, le développement et l'exploitation d'un Datalake (Achatlake) ainsi que sur des flux inter-applicatifs critiques. Vous participerez également à la préparation d'une migration vers une architecture moderne (Python, Airflow, GCP) et à la mise en place de tableaux de bord PowerBI consommés à un très haut niveau dans l'entreprise.
Vos missions principales consisteront à :
- Développer (BUILD) : analyser et traiter les cas d'usage clients, collecter, mettre en qualité et mettre à disposition la donnée (jeux de données, API), réaliser et migrer des tableaux de bord PowerBI.
- Exploiter (RUN) : assurer le maintien en conditions opérationnelles du Datalake, superviser les flux en production, analyser et corriger les dysfonctionnements, gérer les mises en production (correctifs, petits évolutifs, adaptatifs).
- Fiabiliser les flux inter-applicatifs : sécuriser, améliorer et réécrire sous Python les flux du SI Achat, mettre en place un monitoring, préparer la migration des flux vers Airflow.
- Contribuer à la qualité : partager les bonnes pratiques, documenter les développements, industrialiser les mises en production, améliorer la qualité de la donnée sur tout son cycle de vie.
- Participer à la migration : contribuer à l'accostage de la plateforme data existante vers la Plateforme Data Groupe (traitement via NiFi, stockage via PostgreSQL, visualisation via PowerBI, flux inter-applicatifs).
🛠️ Votre environnement technique :
- ETL / Orchestration : Apache NiFi, Airflow, Python
- Bases de données : PostgreSQL (bases RAW, DWH, DMT)
- BI / Visualisation : PowerBI, PowerBI Online
- API / Services : Conception d'API et services REST
- Cloud / Migration : GCP (préparation de la migration)
- Outils : Git, gestion de configuration, méthodes Agile
- Réglementation : Connaissance des principes liés au RGPD
🎯 Ce que nous attendons de vous :
- Expérience de 6 ans minimum en développement Data, dont une solide pratique de SQL et des spécificités de PostgreSQL.
- Expérience de 2 ans minimum sur l'ETL Apache NiFi.
- Maîtrise des concepts d'ETL et des bonnes pratiques de développement.
- Expérience dans la conception d'API et services REST.
- Connaissance du langage Python et de la gestion de configuration / Git.
- Bonne connaissance des méthodes Agile.
- Connaissance du langage Airflow (un plus).
- Très bonne connaissance du domaine de données achat, avec une expérience de 2 ans minimum dans un contexte similaire.
- Connaissance des principes liés au RGPD.
- Aisance rédactionnelle (spécification technique, documentation) et relationnelle.
- Esprit d'équipe et d'écoute client.
🤝 Au-delà de la mission, vous pourrez :
- Bénéficier d'un suivi de proximité et personnalisé, par le biais d'un double accompagnement managérial et RH.
- Participer à des ateliers techniques et à des projets transverses pour partager votre expertise.
- Évoluer dans un cadre stimulant au cœur de la transformation data d'un grand compte de l'énergie, sur une mission de 12 mois renouvelable.
⭐ Poste en CDI à pourvoir dès que possible
🤸♂️ Télétravail : Hybride (minimum 3 jours de présence sur site)
🚩 Poste basé à Lyon (site client)
🥁 Avantages divers : Primes, prime d'été, PEE, Tickets Restaurant, RTT, prime vélo, mutuelle...
Un process de recrutement réactif : une rencontre téléphonique, un échange avec le chargé de recrutement et votre futur manager, suivi d'un échange technique si nécessaire.
RHA23829
Qu’attendez-vous pour être Open ?
About Us
Plus de 1 500 nouveaux collaborateurs en 2023 ! Pourquoi pas vous ?
#1500ByOpen
Avec 4 000 collaborateurs et un chiffre d’affaires de 400 M€ en 2022, Open se positionne comme le Partenaire de Confiance des grandes entreprises françaises publiques et privées, engagé dans leur transformation IT et digitale et intervient principalement en France et à l’international au Luxembourg et en Roumanie.
Notre mission : conseiller nos clients dans leur trajectoire de transformation, concevoir, réaliser et opérer des systèmes d’information agiles, résilients et sécurisés et apporter des solutions logicielles innovantes en mode Saas, en s’appuyant sur nos trois activités : Digital Consulting, Digital & IT Services, Digital Solutions.
Open inscrit sa raison d’être dans une logique d’avenir « Faire du numérique le vecteur de transformation pour un monde respectueux des valeurs humaines et environnementales » en cohérence avec ses valeurs d’entreprise : Agilité, Responsabilité, Engagement.
Rejoindre les équipes Open, c’est concevoir et intégrer les solutions technologiques innovantes de demain.
Parce que votre talent mérite notre engagement, « Recrutez-Nous » pour créer votre différence !
Et vous, qu’attendez-vous pour être Open ?
