Expert infrastructure et traitement des données massives

Présentation

• Identification des méthodes et usages dans le domaine des données massives (Big Data) appliquée à l’organisation
• Intégration des considérations éthiques et juridiques et d'accessibilité numérique en lien avec l’utilisation des données massives dans les organisations
• Conception et gestion des entrepôts de données
• Extraction, transformation et chargement des données structurées, semi-structurées et non structurées provenant de multiples sources
• Traitement et adaptation des divers flux de données
• Préparation et exportation des données
• Analyse et traitement des données massives
• Analyse des besoins du projet data
• Mise en œuvre et suivi de l’ensemble du processus de développement du projet Big Data

Compétences attestées

• Identifier les méthodes et les technologies relatives à l’utilisation des données massives dans les organisations en s’appuyant sur l’étude des pratiques existantes de Big Data pour répondre à une problématique métier.
• Analyser les usages et enjeux du Big Data dans les organisations en s’appuyant sur un système de veille technologique et économique afin de détecter les opportunités de projets data au sein de l’organisation.
• Appliquer les méthodes et les outils liés au masquage et à l’intégrité des données, ainsi que les règles d’accessibilité numérique, en s’appuyant sur la réglementation en vigueur et les référentiels éthiques existants afin d’éviter les dérives potentielles.
• Analyser les risques juridiques et éthiques liés à la gestion des données en s’appuyant sur la réglementation en vigueur et les référentiels éthiques applicables au contexte spécifique de l’organisation afin de contribuer à la mise en œuvre d’une politique de protection de données efficace.
• Concevoir et déployer des entrepôts de données en s’appuyant sur les outils et les technologies appropriés tout en considérant les ressources et les contraintes relatives à l’activité de l’entreprise et ses besoins métiers pour stocker des bases de données relationnelles ou non relationnelles.
• Administrer et gérer les entrepôts des données en utilisant les technologies des données massives et les outils du Cloud appropriés pour exploiter efficacement les données répondant aux problématiques métier de l’organisation.
• Extraire, transformer et charger différentes sortes de données en lien avec les besoins métiers en s’appuyant sur la technologie ETL afin d’effectuer des synchronisations de vastes ensembles de données vers l’entrepôt de données dans le respect des contraintes légales et les valeurs de responsabilité et d’éthique.
• Créer et gérer des pipelines de données issues de sources hétérogènes, internes et externes à l'entreprise et ceci de façon sécurisée afin de les exploiter et de les stocker.
• Sélectionner et mettre en place les outils de traitement des flux de données en fonction de la complexité, des catégories et de la qualité de données afin d’optimiser la collecte et la gestion des flux de données.
• Adapter le volume et la vitesse des différents flux de données conformément aux contraintes de performance technique prévues et des données exploitées pour répondre aux besoins métiers.
• Analyser et prétraiter des données structurées, semi-structurées et non structurées en s’appuyant sur le nettoyage des données réalisé, afin de fournir aux spécialistes de la science des données les données adéquates à analyser, dans le respect des contraintes légales et les valeurs de responsabilité et d’éthique.
• Réaliser une réduction de la dimensionnalité des données de grandes dimensions en utilisant des méthodes d’optimisation des temps de calcul afin d’avoir une meilleure modélisation des données.
• Réaliser une analyse exploratoire en s’appuyant sur des solutions de visualisation de données afin de représenter graphiquement les données d'une manière claire et pertinente et tout en prenant en compte les règles d’accessibilité.
• Améliorer les performances du traitement des données de manière simultanée en s’appuyant sur les outils d’optimisation afin de permettre une analyse adéquate des données massives.
• Analyser et modéliser des volumes importants de données en s’appuyant sur les outils analytiques et de programmation appropriés afin d’extraire des informations opérationnelles pour la prise de décision et répondant aux enjeux métiers.
• Analyser le besoin du projet data défini par l’entreprise en utilisant les données disponibles et les technologies Big Data existantes afin de proposer une méthode de conduite de projet adaptée dans le respect des contraintes légales et les valeurs de responsabilité et d’éthique.
• Définir les spécifications fonctionnelles et techniques du projet en s’appuyant sur des méthodes et des outils adaptés au contexte de l’entreprise et à la nature du projet afin d’assurer sa conduite dans le respect des délais et des contraintes techniques et financières.
• Définir le plan de transition/renforcement de la stratégie data de l'entreprise, en identifiant les métiers concernés et en définissant les différents jalons et indicateurs qui permettent une mise en œuvre réussi du projet par les différents acteurs et utilisateurs.
• Déployer un projet Big Data en assurant une communication et une supervision permanentes entre les développeurs et les opérations tout au long du cycle de vie du projet afin d’accélérer la mise en production dans le respect des contraintes légales et les valeurs de responsabilité et d’éthique.
• Piloter une équipe projet avec des groupes de travail interdisciplinaires et aider les acteurs impliqués dans le projet Big Data dans l’appropriation de la solution en aidant à son intégration dans leurs pratiques métiers afin d’accompagner le changement des pratiques.

Blocs de compétences (4)

Voies d'accès

• En contrat de professionnalisation
• En contrat d’apprentissage
• Après un parcours de formation sous statut d’élève ou d’étudiant
• Après un parcours de formation continue
• Par expérience

Emplois accessibles

• * Expert infrastructure et traitement de données massives
• * Data Engineer / Ingénieur de données / Ingénieur développement Big Data
• * Chief Data officer
• * Consultant Big Data
• * Data manager / Data Analyst
• (au sein d'une entreprise privée ou dans un organisme public)

Secteurs d'activité

• En France, différents rapports et études ont identifié certains secteurs les plus porteurs pour la data et vecteurs de projets d’Intelligence Artificielle. Ces secteurs d’activités se caractérisent par une forte exposition des effectifs aux impacts des données massives et de l’IA, et un niveau élevé d’exposition à la digitalisation. Parmi ces principaux secteurs, on trouve :
• * Santé : Les domaines où la date intervient sont vastes : médecine de prévention, aide au diagnostic et au choix des traitements, , épidémiologie, médecine augmentée, etc.
• * Services financiers : Parmi les domaines les plus impactés par les Big data, on peut citer : les activités de marché (analyse prédictive du marché, performance des fonds d’investissement, aide pour fixer le meilleur prix des actions etc.), les opérations courantes (vente de produits financiers : accord ou non d’une demande de prêt, octroi de crédit, analyse documentaire, détection de fraudes etc.)
• * Service juridique :Parmi les domaines les plus impactés par les données massives, citons : la recherche et analyse de documents (jurisprudence, informations légales de l’entreprise et une analyse pour trier et grouper les documents les plus pertinents pour le cas juridique à traiter), le suivi des opérations juridiques quotidiennes.
• * Commerce de détail :Les principaux domaines impactés par les Big Data sont les suivants : personnalisation de l’expérience client (analyse plus fine du comportement des consommateurs en temps réel et meilleure anticipation de leurs besoins), optimisation du fonctionnement du point de vente, optimisation du backoffice.

Réglementations

• Même si les métiers de la Data ne sont pas réglementés, ils nécessitent la maitrise de plusieurs réglementations qui se développent, en particulier en Europe pour encadrer les usages des solutions IA/Data. On peut citer :
• En France :
• * La loi no 78-17 du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés, plus connue sous le nom de loi informatique et libertés (dans sa rédaction en vigueur depuis 2019)
• * Le décret n° 2019-536 du 29 mai 2019 qui détaille les modalités d’application de la Loi Informatique et Liberté et de la RGPD
• * La loi n° 2004-575 du 21 juin 2004 pour La Confiance en l'Économie Numérique (LCEN)
• Eu Europe :
• * Le règlement UE 2016/679 du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l'égard du traitement des données à caractère personnel et à la libre circulation de ces données, dit règlement général sur la protection des données (RGPD)
• * Le règlement sur la gouvernance des données (Data Governance Act) - voté en mai 2022, et applicable en septembre 2023 qui régit le partage des données personnelles et non personnelles au niveau européen.
• * La proposition de règlement sur les données (Data Act) - du 23 février 2022 - propose de gérer la répartition de la valeur issue de l’utilisation des données personnelles et non personnelles entre les acteurs de l’économie de la donnée (utilisation des objets connectés et développement de l’Internet des objets).

Composition des jurys

Offres d'emploi en cours via France Travail

Métiers visés (codes ROME)

Informations générales

Code

RNCP37763

Type d'enregistrement

Enregistrement sur demande

Date de décision

19/07/2023

Date d'effet

—

Fin d'enregistrement

19/07/2026