Le big data
Partie 4 sur 4
8Le paysage actuel et ses métiers
8.1Les métiers
- L’ingénieur de données (data engineer) construit et surveille les chemins par lesquels les données circulent, du recueil au stockage et à la mise à disposition.
- L’analyste de données pose les questions des métiers, interroge les données (souvent en SQL, voir le langage SQL) et présente les résultats.
- Le scientifique des données (data scientist) construit des modèles statistiques et d’apprentissage automatique.
- L’architecte de données, le responsable de la gouvernance et le délégué à la protection des données encadrent l’ensemble (voir le RGPD).
8.2Les outils en 2026
La pile typique d’aujourd’hui : un stockage objet dans le cloud ; un format en colonnes (Parquet) avec une couche de tables fiables (voir les données modernes) ; Spark ou un entrepôt de données dans le cloud (Snowflake, Databricks, BigQuery et d’autres) pour le calcul ; Kafka pour les flux ; des outils de visualisation pour présenter. Le classement mensuel de popularité DB-Engines de juillet 2026 plaçait deux services de ce type, Snowflake et Databricks, dans les dix premières places, ce qui donne une idée de leur place. Les noms changent vite ; les concepts de ce texte, eux, restent.
8.3Avez-vous vraiment besoin de big data ?
La question mérite d’être posée. Un serveur moderne peut avoir des centaines de gigaoctets de mémoire et des dizaines de téraoctets de disques rapides. La grande majorité des entreprises n’ont pas de données qui dépassent cela ; elles s’en sortent très bien avec une base relationnelle (voir les SGBD), éventuellement un entrepôt de données, et des outils d’analyse « embarqués » capables de traiter plusieurs dizaines de gigaoctets sur un ordinateur portable. Monter une grappe est coûteux en matériel, en compétences et en sécurité. Règle simple : on passe au big data quand on a mesuré qu’une seule machine ne suffit plus, pas avant.
9Vie privée, droit et éthique
Accumuler des données sur des personnes crée des devoirs. En Europe, le règlement général sur la protection des données (RGPD, entré en application en mai 2018, voir le RGPD) fixe plusieurs principes qui s’appliquent pleinement au big data :
- la finalité : on collecte des données pour un but précis annoncé, et l’on ne peut pas les réutiliser pour n’importe quoi ;
- la minimisation : on ne garde que ce qui est nécessaire à ce but ; l’argument « ça pourrait servir un jour » ne suffit pas ;
- la durée limitée de conservation ;
- les droits des personnes : accès, rectification, effacement, opposition ;
- la sécurité proportionnée aux risques.
Ces principes sont en tension avec l’idée de « tout garder au cas où » qui a longtemps guidé le big data. Ils obligent à décider avant de collecter ce que l’on veut en faire.
9.1Anonymiser est plus difficile qu’on ne le croit
On entend souvent : « les données sont anonymes, on a retiré les noms ». C’est rarement suffisant. La pseudonymisation remplace les noms par des codes, mais les personnes restent identifiables dès qu’on dispose de la table de correspondance ou qu’on peut recouper avec d’autres données. L’anonymisation véritable exige qu’il soit impossible de retrouver la personne, par aucun moyen raisonnable, y compris par recoupement. Des chercheurs ont montré à plusieurs reprises qu’un petit nombre de caractéristiques banales (code postal, date de naissance, sexe) suffit à identifier une grande part d’une population, et que des historiques de lieux visités ou d’achats sont presque aussi uniques qu’une empreinte digitale. Les données pseudonymisées restent donc des données personnelles au sens de la loi.
Les techniques utiles : généraliser (une année de naissance au lieu d’une date, un département au lieu d’une adresse), supprimer les cas rares, ajouter un bruit mathématique contrôlé (la confidentialité différentielle, qui permet de publier des statistiques sans révéler les individus), et limiter l’accès à un environnement contrôlé plutôt que de publier un fichier.
Pour s’exercer
Exercice 6 : une anonymisation insuffisante
Un fichier de santé « anonymisé » contient, pour chaque personne : le code postal, la date de naissance complète, le sexe et le diagnostic. Pourquoi n’est-ce pas anonyme, et comment l’améliorer ?
Voir la réponse
Le trio code postal, date de naissance, sexe identifie souvent à lui seul une personne dans un petit territoire ; un recoupement avec une autre liste (listes électorales, réseaux sociaux) permet de retrouver le nom. On améliore en généralisant : l’année de naissance, ou une tranche d’âge, plutôt que la date ; le département plutôt que le code postal ; en supprimant les cas rares (par exemple tout groupe de moins de cinq personnes) ; et en limitant l’accès au fichier. Même ainsi, il faut évaluer le risque de réidentification et, si le risque subsiste, traiter le fichier comme personnel.
10Ce qui a changé en quinze ans
- Le mot n’existait pas encore dans l’usage courant. Autrefois, on parlait d’entrepôts de données et de « fouille de données ». « Big data » s’impose vers 2011-2012.
- Le calcul s’est démocratisé. Hadoop (2006), puis Spark (2009), et surtout le cloud, ont permis à une petite entreprise de louer en quelques minutes une grappe qui aurait coûté des millions.
- Le stockage a changé de nature. Du disque dur d’entreprise on est passé au stockage objet du cloud et aux formats en colonnes.
- Le continu est devenu courant avec Kafka et ses concurrents ; le « temps réel » n’est plus un luxe.
- Le droit a rattrapé la technique. Le RGPD (2018) a rendu obligatoires la minimisation et la finalité ; le big data ne peut plus se justifier par « on verra bien ».
- La vague de l’intelligence artificielle donne une nouvelle raison de rassembler des données (pour entraîner des modèles) et pose de nouvelles questions de droits d’auteur et de vie privée (voir l’intelligence artificielle).
- L’enthousiasme est retombé. Beaucoup de projets annoncés comme révolutionnaires ont produit peu de valeur : le goulot n’était pas la technique mais la qualité des données et la clarté des questions.
Pour s’exercer
Exercice 7 : en avez-vous besoin ?
Une petite entreprise de 40 salariés stocke 200 gigaoctets de ventes et de journaux. Un prestataire lui propose de monter une grappe Hadoop. Que répondez-vous ?
Voir la réponse
200 gigaoctets tiennent sur un seul serveur, voire sur un ordinateur portable, et se traitent sans difficulté avec une base relationnelle ou un moteur d’analyse embarqué. Une grappe coûterait cher en matériel, en administration, en compétences et en risques de sécurité, sans bénéfice. La bonne démarche est de définir les questions, de mesurer le temps de traitement actuel, et de ne passer à une architecture répartie que si une limite est réellement atteinte. Si le besoin est ponctuel, un service cloud payé à l’usage serait de toute façon plus raisonnable.