Description
- Réaliser les flux de données en batch (ETL ou ELT), en Data Warehouse automation (DWA) ou en flux continu (Data Streaming)
- Réaliser les traitements de données (nettoyage, correction, formatage, standardisation, transformation, enrichissement) pour les calculs et les mises en application des règles d’affaires
- Réaliser les traitements de validation de la qualité
- Réaliser les traitements de tests automatisés
- Documentation nécessaire et suffisante sur les processus réalisés
Capacités de travail en équipe
- Travail en mode projet – livraison de l’équipe data de Logient
- Suivre les consignes de l’architecte de solutions analytiques et de l’architecte de données
Capacités de travail dans un environnement infonuagique
- Maîtrise des méthodes de développement optimiser pour des environnements infonuagiques (minimiser les coûts des traitements et du développement sur de large volume) – réflexion d’optimisation à priori et non à posteriori
Profil
Compétences en gestion de données
- Élaboration de flux optimiser en batch de type ETL et ELT
- Élaboration de flux optimiser en continu (Data Streaming) par gestion d’évenement ou par micro-batch
- Élaboration de flux d’insertion de données en gestion des SCD (slowly changing dimension) – historisation des changements – minimalement, en type 2 (historisation en ligne), 3 (historisation en colonne) et 4 (historisation en même temps en ligne et en colonne).
- Traitement élaborer pour charger un entrepôt de données (en Data Vault), un comptoir de données (en Star Schema ou en Snowflake Schema), ou un lac de données (fichiers parquet)
- Élaboration de traitements de validation de la qualité des données
- Élaboration de tests automatisés et récurrents
- Élaboration de traitements de calculs par partition au sein d’une base de données opérationnel et une base de données analytique
- Élaboration de traitements avec calculs géospatials
Expériences
- Au moins 5 projets différents dans des entreprises de différentes tailles et différents secteurs d’activités, obligatoire
- Bilingue Anglais et Français
Connaissances techniques
- Maîtrise d’Apache Kafka, obligatoire
- Maîtrise de Spark, obligatoire
- Maîtrise d’Azure Event Hub, obligatoire
- Maîtrise de Microsoft Fabric, obligatoire
- Maîtrise de Azure DevOps, obligatoire
- Maîtrise d’AWS Glue, un atout
- Maîtrise d’AWS EventBridge, un atout
- Maîtrise de SQL Server au sein d’Amazon RDS, un atout
- Maîtrise de l’environnement Azure, un atout
- Toute certification dans le domaine de l’ingénierie de donnée (Databricks, Matillion, Upsolver, Fivetran, etc.) ou du DWA (VaultSpeed, Astera, WhereScape, etc.) est un atout important.
