Le big data
Partie 2 sur 4
4Stocker : répartir et copier
4.1Le système de fichiers réparti
Le stockage de base du big data est un système de fichiers réparti : il présente à l’utilisateur un seul grand espace de fichiers, alors que les fichiers sont en réalité découpés et dispersés sur de nombreuses machines. Le plus connu est HDFS (Hadoop Distributed File System, système de fichiers réparti de Hadoop), inspiré de celui de Google. Son principe :
- un fichier est découpé en blocs de grande taille (128 mégaoctets par défaut, contre quelques kilooctets sur un disque ordinaire) ;
- chaque bloc est copié trois fois sur trois machines différentes (sur des armoires différentes si possible, pour résister à la panne de toute une armoire) ;
- un serveur particulier, le nœud de nom, garde l’annuaire : quel bloc de quel fichier se trouve sur quelles machines ;
- quand une machine tombe, le système repère les blocs qui n’ont plus que deux copies et en refait une troisième ailleurs, tout seul.
Le coût de cette sécurité est une multiplication par trois de l’espace : stocker un pétaoctet utile demande trois pétaoctets de disque. Pour réduire la facture, des techniques de codage d’effacement (qui calculent des données de redondance, comme le font les grappes de disques décrites dans le RAID) remplacent la copie triple et ne coûtent qu’environ une fois et demie l’espace.
4.2Le stockage objet dans le cloud
Aujourd’hui, une grande part du big data est stockée non dans une grappe que l’on gère soi-même, mais dans le stockage objet des fournisseurs de cloud (voir le cloud) : un espace quasi illimité où l’on dépose des « objets » (des fichiers) dans des « seaux », payé au volume et à l’usage. Le fournisseur se charge des copies et des pannes. L’avantage est la simplicité et la possibilité de séparer le stockage (stable, peu cher) du calcul (que l’on loue seulement le temps d’un traitement). L’inconvénient est la dépendance vis-à-vis du fournisseur, le coût de sortie des données et les questions de souveraineté (où sont les données, quel droit s’applique).
4.3Lacs, entrepôts, formats
Un lac de données est un grand stockage où l’on dépose les données brutes, telles quelles, sans les mettre en forme au préalable ; un entrepôt de données contient des données déjà nettoyées et organisées pour l’analyse. Les formats de fichiers en colonnes (Parquet, ORC) rangent chaque colonne ensemble, ce qui permet de ne lire que les colonnes utiles et de très bien compresser : pour calculer le total des ventes, on ne lit que la colonne « montant » et non les cent autres. Les architectures modernes combinent le tout en lakehouse. Ces sujets sont traités dans les données modernes.
Pour les données qui changent souvent et doivent rester disponibles pour des opérations rapides (consulter une fiche, ajouter un enregistrement), on utilise plutôt une base NoSQL ou répartie (voir les bases NoSQL) ; les systèmes de fichiers répartis sont faits pour des données qu’on écrit une fois et qu’on lit en grande quantité.
Pour s’exercer
Exercice 2 : l’espace réellement nécessaire
Une entreprise veut garder 400 téraoctets de données utiles dans un système de fichiers réparti qui copie chaque bloc 3 fois. De combien d’espace disque a-t-elle besoin ? Combien avec un codage d’effacement qui coûte environ 1,5 fois l’espace utile ?
Voir la réponse
Avec trois copies : 400 × 3 = 1 200 téraoctets. Avec le codage d’effacement : 400 × 1,5 = 600 téraoctets, soit moitié moins. En contrepartie, la reconstruction après une panne est plus lente et demande plus de calcul. En pratique, on garde les copies triples pour les données les plus consultées et le codage d’effacement pour les données plus froides.
5Calculer : MapReduce et Spark
5.1MapReduce : le principe
En 2004, deux ingénieurs de Google, Jeffrey Dean et Sanjay Ghemawat, publient un article décrivant MapReduce. L’idée est de ramener un grand nombre de calculs à deux étapes très simples que le système sait répartir et relancer automatiquement :
- l’étape map (« appliquer ») : chaque machine lit sa part des données et produit des couples (clé, valeur) ; chaque machine travaille seule, sans parler aux autres ;
- l’étape de regroupement (en anglais shuffle, « battre les cartes ») : le système rassemble, pour chaque clé, toutes les valeurs produites par toutes les machines ;
- l’étape reduce (« réduire ») : chaque machine reçoit toutes les valeurs d’une même clé et en calcule un résultat (somme, moyenne, liste).
L’exemple de la figure 2 est le « bonjour » de ce domaine : compter combien de fois chaque mot apparaît dans un très grand corpus de textes. Chaque machine lit une portion et émet un couple (mot, 1) à chaque mot rencontré. Le regroupement rassemble tous les « 1 » du mot « chat » sur une même machine, qui les additionne. Le même programme marche sur trois machines ou sur trois mille : on ajoute des machines, pas une machine plus grosse. Si une machine tombe en cours de route, le système relance simplement son morceau ailleurs, puisque son travail ne dépend que de ses données d’entrée.
Ce modèle convient à de nombreux problèmes : compter, trier, regrouper, calculer des statistiques, construire un index de recherche. Il convient mal aux calculs qui s’enchaînent en boucle (apprentissage automatique, graphes), car chaque étape écrit son résultat sur disque avant que la suivante le relise.
5.2L’écosystème Hadoop
Autour de HDFS et de MapReduce s’est formé un ensemble d’outils libres : YARN (qui répartit les machines entre les travaux), Hive (qui permet d’écrire des requêtes proches de SQL, traduites en travaux répartis), HBase (une base à colonnes larges, voir les bases NoSQL), et d’autres. En 2026, le projet Hadoop continue d’être maintenu : la version 3.5 est sortie début avril 2026, et la série 3.4 reçoit encore des correctifs. Mais, pour les calculs, MapReduce lui-même est aujourd’hui peu utilisé directement : on lui préfère Spark.
5.3Spark : travailler en mémoire
Apache Spark est né à l’université de Californie à Berkeley (laboratoire AMPLab) en 2009 et est devenu un projet majeur de la fondation Apache en 2014. Son idée : au lieu d’écrire le résultat de chaque étape sur disque, garder les données intermédiaires en mémoire vive dans la grappe (voir la mémoire), ce qui accélère fortement les calculs enchaînés. Spark offre une interface qui ressemble à celle d’un tableur géant ou d’une base : on décrit des opérations (filtrer, regrouper, joindre, calculer) sur de grandes tables, et le système les répartit. Il sait aussi faire du SQL, de l’apprentissage automatique et du traitement en continu.
État en novembre 2026 : la version 4.0 est sortie le 19 mai 2025, et les versions 4.1 à 4.3 se sont succédé jusqu’à fin octobre 2026 (4.3.0 est parue fin octobre). Les versions se succèdent rapidement, et l’on vérifie sur le site du projet celle qui est maintenue. Une alternative en plein essor pour les volumes moyens est de profiter de la puissance d’une seule machine moderne, avec des moteurs analytiques « embarqués », sans grappe du tout : c’est le sujet de la partie 8.
Pour s’exercer
Exercice 3 : MapReduce à la main
Trois machines reçoivent chacune une phrase : « le chat dort », « le chien dort », « le chat mange ». Écrivez ce que produit chaque étape pour compter les mots.
Voir la réponse
Map : machine 1 → (le,1) (chat,1) (dort,1) ; machine 2 → (le,1) (chien,1) (dort,1) ; machine 3 → (le,1) (chat,1) (mange,1). Regroupement : le → 1,1,1 ; chat → 1,1 ; dort → 1,1 ; chien → 1 ; mange → 1. Reduce : le = 3, chat = 2, dort = 2, chien = 1, mange = 1. Total : 9 mots, comme dans les trois phrases (3 + 3 + 3).