Data engineer

Présentation

• Etude et développement, ou choix et adaptation d'une solution sécurisée pour collecter, nettoyer, traiter, stocker et exploiter des données
• Management de la transition data de l'entreprise
• Déploiement ou industrialisation, maintenance d'une solution opérationnelle de gestion de données
• Conception, mise en œuvre et optimisation d'un modèle d'Intelligence Artificielle/Machine Learning (ML)
• Exploitation de la donnée pour piloter l'activité de l’entreprise et créer de nouvelles opportunités

Compétences attestées

• Analyser les besoins en intégrant les ressources disponibles, les contraintes, les risques afin de proposer une solution correspondant à la demande du client
• Analyser le besoin de protection des données en mesurant leur sensibilité afin de définir une politique de sécurité et une gouvernance du Système d’Information (SI)
• Identifier et mesurer les risques liés à la protection juridique de l’entreprise et de ses parties prenantes en respectant la législation des pays concernés en matière de chiffrement, détention, transit, domiciliation des prestataires afin de diminuer les risques de conflit avec une juridiction ou entre deux juridictions
• Rédiger les cahiers des charges fonctionnel et technique de manière accessible en se basant sur l’analyse des besoins validée par le client, afin de spécifier les caractéristiques de la solution à développer ou à adapter
• Concevoir l’architecture sécurisée de la solution à développer ou à adapter en se basant sur les différents cahiers des charges en vue de proposer un système opérationnel de gestion de données massives
• Conduire et réaliser le développement ou l’adaptation d’une solution en ayant recours aux langages de programmation et aux technologies de base de données les plus adaptés et en garantissant la conformité aux cahiers des charges afin de livrer un système opérationnel, sécurisé, accessible, destiné à collecter, nettoyer, traiter, stocker et exploiter des données
• Réunir et coordonner des compétences spécialisées nécessaires au développement de la solution en mettant en oeuvre les bonnes pratiques de gestion d’équipe, de gestion de projet et de prise en compte des éventuelles situations de handicap
• Réaliser des tests en se basant sur des jeux de données et valider le bon fonctionnement et la sécurité de la solution développée ou adaptée en conformité avec les attentes du client
• Contribuer à la rédaction d’une charte éthique (accessible à l’ensemble des collaborateurs) relative aux données manipulées,en déclinant les exigences sociétales et environnementales fixées par l'entreprise afin de respecter les engagements de celle-ci dans ces domaines
• Collaborer à l’élaboration de la stratégie de transition data de l'entreprise, respectueuse de la charte éthique, en identifiant ses métiers et activités concernés, en définissant le périmètre du projet de transition, ses objectifs, ses étapes, ses délais, le budget requis et les indicateurs de réussite afin de soutenir le développement de l’entreprise
• Proposer des évolutions du système de données de l'entreprise, en modifiant sa structuration et ses modes d'accès, en définissant des indicateurs de mesure, pour améliorer sa mise à disposition et son exploitation par les utilisateurs
• Piloter et mettre en place dans son champ d’expertise la transition data de l'entreprise en faisant évoluer des process, des métiers, des activités, afin d'optimiser leurs fonctionnements
• Planifier et gérer les projets relevant de la transition en définissant les objectifs, les indicateurs, les jalons, et les livrables, afin de respecter les délais convenus avec le client
• Concevoir et mettre en exploitation des outils de suivi inclusifs à partir des données qu’il aura identifiées afin de piloter un projet pour détecter et corriger les écarts, les risques
• Manager et assurer l’accompagnement des métiers et des acteurs de l’entreprise dans leur évolution en organisant ou contribuant à des actions de formation et d’acculturation accessibles afin de passer à une culture de la donnée respectueuse de la sécurité, du cadre juridique et de l’éthique
• Évaluer le niveau d'adhésion des acteurs de l’entreprise à la démarche de transition data en mettant en place des indicateurs d’acceptation afin d'identifier d'éventuelles difficultés ou réticences
• Mettre en place un dispositif de veille juridique et technologique expert portant sur les champs de la Data, du Big Data, de l’IA et de la cybersécurité en identifiant les sources d’informations les plus pertinentes afin de faire évoluer le Système d’Information (SI) et les solutions Data mises en place
• Exploiter les informations issues de la veille juridique et technologique afin de proposer des évolutions du SI et de faire évoluer les solutions Data dont il a la responsabilité
• Mobiliser et coordonner les expertises techniques en utilisant les méthodes de conduite de projet et d’animation d’équipe, en prenant en compte des éventuelles situations de handicap, afin de mettre en oeuvre le déploiement ou l’industrialisation et la maintenance d’une solution de gestion de données
• Déployer ou industrialiser une solution dans le respect du cahier des charges en mobilisant les ressources techniques, budgétaires, humaines et en tenant compte des contraintes pour mettre à disposition un système de collecte maintenable, robuste, scalable et pouvant gérer des données massives
• Mettre en place et superviser avec les services informatiques de l’entreprise, la protection de la solution et des données, en déployant les outils de sécurité, d’anonymisation, et en instaurant un mécanisme de supervision afin de consolider l'intégrité, la disponibilité, l'accessibilité, la confidentialité et la lisibilité des données
• Mettre en exploitation la solution en monitorant la charge et la performance pour permettre la collecte, le nettoyage, le traitement, le stockage et l’exploitation des données
• Attribuer et configurer les droits d’accès au système et aux données mises à disposition pour restreindre leur accessibilité aux personnes autorisées en se référant au cahier des charges du projet et à la politique de sécurité de l’entreprise
• Evaluer la performance du système en effectuant des retours sur expérience par la collecte et la synthèse des informations relatives aux insuffisances et aux points d’amélioration potentiels en vue de son évolution
• Conduire les évolutions du système en réponse aux points d'amélioration et insuffisances détectées lors de l’évaluation de ses performances afin de garantir un fonctionnement optimisé
• Planifier et mettre en place une maintenance préventive du système de gestion de données afin d’assurer son bon fonctionnement et la disponibilité des données
• Analyser expérimentalement les différents modèles d'Intelligence Artificielle/Machine Learning à travers des tests et des analyses statistiques afin de répondre aux besoins du client
• Affiner le modèle d'Intelligence Artificielle/Machine Learning en cherchant les paramètres optimaux et en évaluant l’adéquation des modèles d’apprentissage avec le besoin exprimé afin de garantir ses capacités de prédiction
• Déployer ou Industrialiser le modèle d'Intelligence Artificielle/Machine Learning à travers la mise en place des pipelines de données et dans le respect du cadre réglementaire pour garantir la qualité, la fiabilité, la rapidité et la scalabilité de la solution
• Évaluer la performance du modèle d’Intelligence Artificielle/Machine Learning déployé ou industrialisé en se basant sur les métriques de référence afin d’optimiser ce modèle
• Communiquer ses résultats au client (interne/externe) de façon accessible (datavisualisation) pour démontrer la performance du modèle d'Intelligence Artificielle/Machine Learning
• Recueillir les besoins des utilisateurs/décideurs par un processus de questionnement afin d'identifier les données internes à collecter et exploiter
• Identifier les données externes au moyen d'un système de veille afin de les intégrer ou de les croiser aux données internes.
• Collecter des données structurées, ou non structurées, en mobilisant des sources variées en prévision de leur stockage et de leur exploitation
• Stocker des données structurées, ou non structurées, dans une base de données, un data lake, ou un entrepôt de données, en garantissant leur sécurité afin de les mettre à disposition des différents utilisateurs/décideurs
• Extraire les données identifiées d’une base de données, d’un data lake ou d'un entrepôt de données, à l’aide d’outils adaptés afin de les mettre à disposition des différents utilisateurs/décideurs dans un format exploitable.
• Nettoyer les données contenues dans une base de données, un data lake, ou un entrepôt de données en s’assurant de leur qualité et de leur utilisabilité pour les restituer en un ensemble exploitable, homogène ou hétérogène.
• Créer des outils de pilotage accessibles (tableaux de bord automatisés) en identifiant les indicateurs clés pour permettre aux utilisateurs/décideurs de faire face aux évolutions de l’activité et prendre les décisions adaptées.
• Présenter le fonctionnement des outils de pilotage et les indicateurs clés identifiés, aux parties prenantes de façon accessible (datavisualisation) afin d’en obtenir la validation et l'appropriation
• Présenter et défendre ses recommandations en se basant sur l’analyse des informations issues des outils de pilotage, afin de permettre aux clients internes une prise de décision éclairée (data gouvernance) et de créer de nouvelles opportunités

Blocs de compétences (5)

Voies d'accès

• Après un parcours de formation sous statut d’élève ou d’étudiant
• Par expérience
• En contrat d’apprentissage
• En contrat de professionnalisation
• Après un parcours de formation continue

Emplois accessibles

• Le Data Engineer est connu sous différentes appellations en fonction des caractéristiques de entreprise qui l'emploie et de son niveau d’expérience.
• Après l'obtention de la certification, le candidat peut aller sur des postes de type Data Engineer, et peut aussi se spécialiser dans des missions intégrant du Machine Learning ; il sera alors recruté sous l'appellation Machine Learning Engineer
• Il peut aussi se spécialiser dans la gestion de données massives (Big Data) ; il sera alors recruté sous l'appellation Ingénieur Data/Big data / Ingénieur en développement Big Data.

Secteurs d'activité

• Le Data Engineer est amené à travailler au sein d’entreprises de toutes tailles, de la PME aux très grandes entreprises, et des secteurs privés comme publics. Ainsi il peut intervenir auprès de : Collectivité territoriale ; Entreprise ; Entreprise de Services Numériques - ESN ; Entreprise publique/établissement public ; Société de conseil ; Administration / Services de l'État ; Armée ; Constructeur de matériel informatique ; Informatique et télécommunications ; …
• Au sein de ces structures, et en fonction de leur organisation et de leur maturité en terme d’exploitation de la data, le Data Engineer peut être intégré dans des “services data”, “services informatiques”, “services BI”, ou dans des entités métiers de type “service marketing”, “service analyses financières”, …

Réglementations

• Le Data Engineer comme tout professionnel de la Data fonctionne avec plusieurs cadres juridiques et réglementaires :
• Le cadre Français :
• * La loi no 78-17 du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés, plus connue sous le nom de loi informatique et libertés (dans sa rédaction en vigueur depuis 2019)
• * Le décret n° 2019-536 du 29 mai 2019 qui détaille les modalités d’application de la Loi Informatique et Liberté et de la RGPD
• * La loi n° 2004-575 du 21 juin 2004 pour La Confiance en l'Économie Numérique (LCEN)
• * Le Décret n°99-199 du 17 mars 1999 définissant les catégories de moyens et de prestations de cryptologie
• Le cadre Européen :
• * Le règlement UE 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation de ces données, dit règlement général sur la protection des données (RGPD)
• * Le règlement sur la gouvernance des données (Data Governance Act) - voté en mai 2022, et applicable en septembre 2023 qui régit le partage des données personnelles et non personnelles au niveau européen.
• * La proposition de règlement sur les données (Data Act) - du 23 février 2022 - propose de gérer la répartition de la valeur issue de l’utilisation des données personnelles et non personnelles entre les acteurs de l’économie de la donnée (utilisation des objets connectés et développement de l’Internet des objets).
• Le cadre International et notamment pour les USA le Clarifying Lawful Overseas Use of Data Act ou CLOUD Act (H.R. 4943)- 2018

Offres d'emploi en cours via France Travail

Métiers visés (codes ROME)

Informations générales

Code

RNCP37624

Type d'enregistrement

Enregistrement sur demande

Date de décision

05/06/2023

Date d'effet

—

Fin d'enregistrement

31/05/2026