Aller au contenu
Encyclopédie informatique Édition 2026

Le big data

Chaque achat par carte, chaque clic sur un site, chaque mesure d’un capteur, chaque ligne d’un journal de serveur laisse une trace. Mises bout à bout, ces traces représentent des quantités qu’aucun ordinateur seul ne sait ranger ni examiner. On appelle cela le big data, ou mégadonnées. Cet article explique ce que le mot recouvre vraiment (les fameux trois V : volume, vitesse, variété), comment on stocke et on calcule sur des centaines de machines (le système de fichiers réparti, la méthode MapReduce, Spark), la différence entre traiter par lots et traiter en continu, comment on tire des décisions des données sans se tromper, et quels sont les risques pour la vie privée et la sécurité.

Rubrique
Données et IA
Niveau
Intermédiaire
Lecture
25 min (essentiel)
27 min (complet)
Révision
4 novembre 2026
Niveau de lecture :

En bref

  • Le big data (mégadonnées) désigne des données trop volumineuses, rapides ou variées pour un seul ordinateur ; deux questions s’y ajoutent : peut-on s’y fier (véracité) et à quoi servent-elles (valeur) ?
  • La solution technique est de répartir : les données sont découpées et copiées sur des centaines de machines ordinaires, et le calcul est envoyé là où se trouvent les données plutôt que l’inverse.
  • Le traitement par lots donne des résultats complets mais avec un délai ; le traitement en continu réagit en quelques instants mais est plus difficile à rendre exact.
  • Beaucoup de données ne font pas un bon résultat : les erreurs de méthode (confondre corrélation et cause, données biaisées) sont le danger principal, bien plus que la technique.
  • Plus on rassemble de données, plus on crée une cible et un risque pour la vie privée : minimiser, protéger, contrôler les accès et ne garder que le nécessaire.

Prérequis conseillés : Les bases de données

1Qu’est-ce que le big data ?

Le mot anglais big data se traduit par « grosses données », et en français par mégadonnées ou données massives. Il désigne un ensemble de données si grand, si rapide ou si varié que les outils habituels, en particulier une base de données unique sur une seule machine (voir les bases de données), ne parviennent plus à le stocker, à le traiter ou à l’analyser dans un délai raisonnable.

La définition est volontairement relative. Ce qui était « gros » il y a une quinzaine d’années, quand un disque de 500 gigaoctets paraissait immense, tient aujourd’hui sur un ordinateur portable. Le seuil se déplace avec la technique : on parle de big data quand le problème change de nature, c’est-à-dire quand il faut passer de « une grosse machine » à « beaucoup de machines qui coopèrent ».

Le terme est aussi un mot d’affaires, utilisé pour vendre des logiciels, des services et des formations. Un bon réflexe est de demander à chaque fois : « de quelles données parle-t-on, de quelle taille, pour quelle décision ? » Un fichier de dix millions de lignes n’est pas du big data, il passe sans difficulté dans un tableur moderne ou une base ordinaire.

1.1Les trois V

LES TROIS V DU BIG DATA, PUIS DEUX QUESTIONS QUI VIENNENT ENSUITE Volume des téraoctets aux pétaoctets, répartis sur de nombreuses machines Vitesse des données qui arrivent en continu : paiements, clics, capteurs Variété tableaux, textes, images, sons, journaux, documents JSON Véracité peut-on se fier à ces données ? Valeur à quelle décision cela sert-il ? Les trois premiers V décrivent la difficulté technique ; les deux derniers, la difficulté réelle : se fier aux données et en faire quelque chose. Un téraoctet = mille milliards d’octets ; un pétaoctet = mille téraoctets.
Figure 1. Les trois V du big data, et les deux questions qui viennent ensuite.

En 2001, l’analyste Doug Laney, du cabinet Meta Group, a décrit les difficultés de la gestion des données avec trois mots commençant par la lettre V, qui sont devenus la définition classique :

  • Le volume : la quantité de données. On compte en téraoctets (un téraoctet vaut mille milliards d’octets, et un octet est l’unité qui stocke une lettre), en pétaoctets (mille téraoctets), en exaoctets (mille pétaoctets) et même en zettaoctets (mille exaoctets).
  • La vitesse (en anglais velocity) : le rythme auquel les données arrivent et auquel il faut réagir. Une transaction bancaire doit être contrôlée en quelques instants, pas le lendemain, pour détecter une fraude.
  • La variété : la diversité des formes. Des tableaux bien rangés, mais aussi du texte libre, des images, des sons, des vidéos, des journaux de serveurs, des documents JSON (voir XML et JSON), des mesures de capteurs.

On y a ajouté ensuite deux autres V, qui concernent moins la technique que le sens :

  • La véracité : la qualité et la fiabilité. Des données nombreuses mais fausses, incomplètes ou truquées donnent des conclusions fausses, plus vite et à plus grande échelle.
  • La valeur : l’utilité. Stocker coûte de l’argent ; des données qui ne servent à aucune décision sont un coût et un risque, pas un trésor.

Retenez cette distinction : les trois premiers V décrivent la difficulté technique ; les deux derniers décrivent la difficulté réelle, celle de se fier aux données et d’en faire quelque chose. C’est généralement le deuxième groupe qui fait échouer les projets.

1.2Un peu d’histoire

L’idée de données trop nombreuses pour être traitées à la main est ancienne : le recensement américain de 1880 avait pris plus de sept ans à dépouiller, ce qui avait mené à l’invention des cartes perforées de Hollerith (voir l’histoire de l’ordinateur). Mais le big data moderne naît des besoins des sociétés du Web au début des années 2000. Pour indexer des milliards de pages, Google publie en 2003 la description de son système de fichiers réparti (GFS), puis en 2004 celle de sa méthode de calcul MapReduce (partie 5). Deux ingénieurs, Doug Cutting et Mike Cafarella, qui développaient un moteur de recherche libre, s’en inspirent et créent Hadoop (2006, avec le soutien de Yahoo), nommé d’après l’éléphant en peluche du fils de Cutting. Hadoop est libre et gratuit : tout le monde peut désormais traiter des données massives avec des machines ordinaires. L’expression « big data » se répand ensuite vers 2010-2012, au point de devenir un slogan.

1.3Le plan de l’article

La partie 2 présente les sources de données. La partie 3 explique pourquoi un seul ordinateur ne suffit plus. La partie 4 décrit le stockage réparti. La partie 5 la méthode de calcul répartie (figure 2). La partie 6 oppose les lots et le continu (figure 3). La partie 7 traite de l’analyse et de ses pièges, la partie 8 du paysage actuel des outils, la partie 9 de la vie privée et du droit.

2D’où viennent les données ?

Les sources sont multiples. On peut les ranger en cinq grandes familles :

  • Les transactions : achats, virements, réservations, appels téléphoniques. Elles sont structurées (des champs bien définis) et déjà stockées dans des bases classiques depuis des décennies.
  • Le Web et les applications : pages consultées, clics, recherches, messages, avis, photos, vidéos. Une grande partie de ces données est non structurée, c’est-à-dire sans forme fixe.
  • Les machines : les journaux (traces écrites par chaque serveur, chaque application, chaque équipement réseau, qui notent ce qui s’est passé), la mesure des performances, la supervision (voir la supervision des réseaux).
  • Les objets connectés et capteurs : thermomètres, compteurs électriques, voitures, machines d’usine, montres (voir l’Internet des objets). Les mesures sont petites, mais très nombreuses et ininterrompues.
  • La science et le secteur public : séquençage de gènes, télescopes, accélérateurs de particules, météorologie, imagerie médicale, données ouvertes des administrations.

Pour donner un ordre de grandeur, la société d’études IDC prévoyait en 2018 que la quantité de données créées, copiées et consommées dans le monde atteindrait environ 175 zettaoctets en 2025. Un zettaoctet, c’est mille milliards de gigaoctets. Ces estimations sont de nature prévisionnelle, reposent sur des hypothèses et sont révisées régulièrement ; retenez surtout la direction : la quantité double en quelques années. Autre précision utile : la majeure partie de ces données sont des copies, des vidéos et des journaux jamais relus. Le volume stocké ne dit rien de l’information utile qu’il contient.

2.1Structuré, semi-structuré, non structuré

  • Les données structurées entrent dans des tables avec des colonnes fixes : un fichier de clients, un relevé de compte (voir le modèle relationnel).
  • Les données semi-structurées ont une organisation, mais souple : un document JSON ou XML, un courriel avec ses en-têtes, une ligne de journal.
  • Les données non structurées n’ont pas de forme prédéfinie : du texte libre, une image, un enregistrement sonore. Il faut d’abord les interpréter (reconnaissance de texte, transcription, apprentissage automatique) pour en tirer des informations structurées.

On estime souvent que la majorité des données produites aujourd’hui sont non structurées ou semi-structurées. C’est l’une des raisons pour lesquelles des modèles de stockage autres que les tables sont apparus (voir les bases NoSQL).

3Pourquoi un seul ordinateur ne suffit plus

Il serait tentant de répondre « il suffit d’acheter une machine plus puissante ». Il y a trois raisons pour lesquelles cela ne suffit plus à un moment donné.

3.1Le goulot d’étranglement du disque

Un gros disque dur lit environ 150 mégaoctets par seconde. Pour lire un téraoctet (un million de mégaoctets) d’un bout à l’autre, il faut donc environ 1 000 000 / 150 ≈ 6 700 secondes, c’est-à-dire près de deux heures. Avec 100 disques lisant chacun 1 pour cent des données en même temps, la même lecture prend environ une minute. Autrement dit : pour aller vite, il faut lire en parallèle sur beaucoup de disques, donc sur beaucoup de machines. Les disques SSD (mémoire flash, voir le stockage) sont bien plus rapides, mais la logique est la même quand les volumes grandissent.

3.2Le coût

Une très grosse machine spécialisée coûte beaucoup plus cher que la somme de petites machines équivalentes. Les sociétés du Web ont choisi des machines ordinaires en grand nombre, assemblées en grappes (en anglais clusters). Le prix à payer est que, parmi des milliers de machines, il y en a toujours quelques-unes en panne.

3.3La panne est la règle

Imaginons qu’une machine tombe en panne en moyenne une fois tous les trois ans, soit environ une fois sur mille jours. Avec 1 000 machines, on s’attend à environ une panne par jour. Un système conçu pour des milliers de machines doit donc supposer que la panne est normale, et la gérer automatiquement : recopier les données, relancer les calculs interrompus, sans intervention humaine. C’est le principe de conception qui sépare ce monde des gros serveurs traditionnels.

3.4Déplacer le calcul, pas les données

Dernière idée clé : à ces volumes, envoyer les données au programme est trop lent, puisque le réseau serait saturé. On fait l’inverse : on envoie le programme, qui est tout petit, sur les machines qui contiennent déjà les données. Chaque machine traite sa part, et seuls les petits résultats circulent. Cette idée simple, « apporter le calcul aux données », est à la base de tout ce qui suit.

Pour s’exercer

Exercice 1 : le temps de lecture

Un disque lit 150 mégaoctets par seconde. Combien de temps faut-il pour lire 3 téraoctets sur un seul disque ? Et si les données sont réparties à égalité sur 200 disques lus en même temps ?

Voir la réponse

3 téraoctets valent 3 000 000 mégaoctets. Sur un disque : 3 000 000 / 150 = 20 000 secondes, soit environ 5 h 33 min. Sur 200 disques, chacun lit 15 000 mégaoctets : 15 000 / 150 = 100 secondes, soit moins de deux minutes. C’est le gain de la lecture en parallèle, à condition que le travail soit bien réparti et que le réseau ne soit pas saturé.