Aller au contenu
Encyclopédie informatique Édition 2026

Le big data

Partie 3 sur 4

Niveau de lecture :

6Par lots ou en continu

DEUX FAÇONS DE TRAITER LES DONNÉES : PAR LOTS OU EN CONTINU Par lots (batch) : on attend d’avoir beaucoup de données, puis on traite tout Sources bases, fichiers, capteurs Stockage fichiers bruts, lac de données Traitement toutes les heures ou toutes les nuits Résultat rapports et tableaux de bord En continu (stream) : on traite chaque donnée dès qu’elle arrive Sources paiements, clics, capteurs File d’événements journal ordonné (par exemple Kafka) Traitement message par message, en quelques instants Résultat alerte, décision, écran mis à jour Par lots : résultats complets et reproductibles, mais avec un délai. En continu : réponse rapide, mais plus difficile à rendre exacte. Beaucoup de systèmes combinent les deux : le continu pour l’urgent, les lots pour le recalcul complet.
Figure 3. Deux façons de traiter les données : par lots ou en continu.

6.1Le traitement par lots

Le traitement par lots (en anglais batch) accumule les données pendant un temps (une heure, un jour), puis les traite toutes en une fois. Son avantage est qu’il est simple, complet, et reproductible : si l’on s’aperçoit d’une erreur, on relance le même traitement sur les mêmes données. Son inconvénient est le délai. Un tableau de bord qui indique « les ventes d’hier » convient à une direction commerciale, pas à un contrôle antifraude. Exemples : le calcul de la paie, les rapports du matin, la mise à jour d’un moteur de recommandations chaque nuit.

6.2Le traitement en continu

Le traitement en continu (streaming) traite chaque donnée, ou chaque petit groupe de données, dès son arrivée. Il permet de réagir en quelques instants : bloquer un paiement suspect, signaler une machine qui chauffe, mettre à jour le nombre de visiteurs en direct. Les données transitent par une file d’événements, une sorte de journal ordonné où les producteurs ajoutent des messages et où les consommateurs les lisent chacun à leur rythme. La plus répandue est Apache Kafka, créée chez LinkedIn vers 2011 : la version 4.0 est sortie en mars 2025 et elle n’a plus besoin de l’outil de coordination ZooKeeper, remplacé par un mécanisme interne ; la série 4.x en est, en octobre 2026, à la version 4.4. Les moteurs de calcul en continu les plus connus sont Apache Flink et le module de flux de Spark.

La difficulté du continu est de rendre le résultat exact : les messages peuvent arriver en retard, dans le désordre, ou deux fois. Compter « le nombre de paiements entre 10 h et 10 h 05 » demande de décider combien de temps on attend les retardataires. On peut donner un résultat rapide mais provisoire, puis le corriger.

6.3Les combiner

De nombreuses entreprises combinent les deux : le continu pour réagir vite à l’urgent, les lots pour recalculer plus tard le résultat complet et exact. Une famille d’architectures, dites « lambda » et « kappa », propose des façons de les organiser ; l’idée centrale est de conserver toutes les données d’origine dans un journal pour pouvoir tout recalculer si l’on découvre une erreur ou si l’on change de méthode. Dans la pratique, on cherche aujourd’hui à simplifier, avec des moteurs qui savent faire les deux avec le même code.

Pour s’exercer

Exercice 4 : lots ou continu ?

Pour chaque cas, choisissez le traitement par lots ou en continu et justifiez : (a) détecter une carte bancaire utilisée dans deux pays à dix minutes d’intervalle ; (b) calculer les bulletins de paie du mois ; (c) afficher en direct le nombre de personnes connectées à un site ; (d) recalculer chaque nuit les recommandations de films.

Voir la réponse

(a) Continu : il faut réagir avant qu’une deuxième fraude ait lieu. (b) Lots : le calcul est complet, périodique, et doit être exact et reproductible. (c) Continu : la valeur de l’information est dans son actualité. (d) Lots : un délai d’une nuit est acceptable et le calcul porte sur tout l’historique.

7Des données aux décisions

Stocker et calculer n’est que la moitié du chemin. L’autre moitié est comprendre ce que disent les données et agir en conséquence. Trois grandes familles de questions :

  • l’analyse descriptive : que s’est-il passé ? (les ventes par région, la fréquentation du site) ;
  • l’analyse prédictive : que va-t-il se passer ? Elle repose souvent sur l’apprentissage automatique, où un programme apprend des règles à partir d’exemples (voir l’apprentissage automatique) ;
  • l’analyse prescriptive : que faut-il faire ? (quel prix, quelle tournée de livraison).

Une chaîne typique : collecter, nettoyer, stocker, transformer, analyser, présenter, décider. La partie « nettoyer » prend une part étonnante du travail, souvent plus de la moitié : données manquantes, doublons, formats incohérents, erreurs de saisie.

7.1Corrélation n’est pas causalité

Le piège le plus répandu est de confondre deux choses qui varient ensemble (une corrélation) avec une chose qui en provoque une autre (une causalité). Les ventes de glaces et les noyades augmentent toutes deux en été : les glaces ne causent pas les noyades, c’est la chaleur qui explique les deux. Avec de très grandes quantités de données et des milliers de variables, on trouve toujours par pur hasard des corrélations qui n’ont aucun sens : plus on cherche, plus on trouve de fausses pistes. Un résultat d’analyse doit donc se confronter à une explication plausible et, quand c’est possible, à une expérience (comparer un groupe qui reçoit un traitement à un groupe qui ne le reçoit pas).

7.2Les biais

Un jeu de données n’est jamais le monde : il est le reflet de la façon dont il a été collecté. Si l’on analyse les trajets des utilisateurs d’une application, on ne voit pas ceux qui ne l’utilisent pas. Si un outil de tri de candidatures apprend sur les embauches passées d’une entreprise qui recrutait surtout des hommes, il reproduit cette préférence. La quantité ne corrige pas le biais : un échantillon immense mais biaisé donne un résultat très précis et faux. Il faut se demander qui et quoi manquent dans les données, et vérifier les résultats sur différents groupes.

7.3La qualité avant la quantité

La véracité n’est pas qu’un problème de nettoyage : il faut garder la trace de l’origine de chaque donnée (qui l’a produite, quand, comment), de ses transformations, et pouvoir répondre à « d’où vient ce chiffre ? ». C’est l’objet de la gouvernance des données (voir les données modernes) : catalogues, propriétaires de données, règles de qualité, contrôles automatiques.

Pour s’exercer

Exercice 5 : corrélation et cause

Une analyse montre que les clients qui reçoivent beaucoup de courriels publicitaires achètent aussi plus. Peut-on conclure qu’envoyer plus de courriels fait vendre plus ? Quelles explications alternatives et quel test proposer ?

Voir la réponse

Non, pas directement. Explications alternatives : l’entreprise cible plus souvent ses meilleurs clients (le lien est inversé : acheter beaucoup pousse à envoyer beaucoup) ; les clients qui s’abonnent à tout sont à la fois très réceptifs aux courriels et gros acheteurs (une cause commune). Test : une expérience, en tirant au hasard deux groupes comparables de clients, un qui reçoit moins de courriels, un qui en reçoit plus, et en comparant les achats ensuite.