Aller au contenu
Encyclopédie informatique Édition 2026

Les plateformes de données modernes : lacs, entrepôts et lakehouse

Partie 2 sur 3

Niveau de lecture :

4Les formats de fichiers qui font tout fonctionner

Dans un lac, tout repose sur le format des fichiers. Voici les principaux.

Tableau 1. Les formats de fichiers de données les plus courants.
FormatRangementUsage typique
CSVtexte, ligne par ligneéchange simple ; lourd, sans types, ambigu
JSONtexte, structuré (voir l’article sur XML et JSON)échanges entre logiciels, journaux
Avrobinaire, ligne par ligne, schéma incluscirculation de messages en continu
Parquetbinaire, colonne par colonne, compresséanalyse : c’est le standard des lacs
ORCbinaire, colonne par colonne, compresséanalyse, surtout dans l’écosystème Hadoop

Le CSV (valeurs séparées par des virgules) est lisible par tout le monde, mais il ne dit pas si « 01/02 » est un 1er février ou un 2 janvier, ni si la colonne est un nombre. Le JSON est décrit dans l’article sur XML et JSON. Les formats binaires sont illisibles à l’œil mais bien plus compacts et plus rapides.

4.1Pourquoi Parquet a gagné Apache Parquet (projet ouvert, né vers 2013) range les données par colonnes (figure 1), par blocs. Il garde pour chaque bloc quelques résumés (valeur minimale et maximale par exemple). Une requête comme « ventes de janvier » peut alors sauter tous les blocs dont les dates sont hors de janvier, sans même les lire. Il compresse aussi très bien, et contient son propre schéma. Pour une même table, un fichier Parquet est souvent plusieurs fois plus petit qu’un CSV, et la requête beaucoup plus rapide. (Le gain exact dépend des données : mesurez sur les vôtres.)

LE MÊME TABLEAU DE VENTES, RANGÉ DE DEUX FAÇONS Rangement par lignes Rangement par colonnes Léa | Tours | 40 Marc | Lille | 15 Zoé | Nice | 70 clients : Léa, Marc, Zoé villes : Tours, Lille, Nice montants : 40, 15, 70 pour additionner les montants, on lit tout on ne lit que la colonne des montants Les analyses lisent peu de colonnes sur beaucoup de lignes : le rangement par colonnes y gagne.
Figure 1. Le même tableau de ventes, rangé par lignes ou par colonnes.

4.2Le partitionnement Pour aller plus vite encore, on range souvent les fichiers dans des dossiers selon une valeur, par exemple annee=2026/mois=11/. Une question sur novembre 2026 ne regarde que ce dossier. C’est le partitionnement. Trop fin, il produit des milliers de petits fichiers qui ralentissent tout ; trop large, il ne sert à rien. Les équipes expérimentées visent des fichiers de taille raisonnable, de l’ordre de la centaine de mégaoctets (un mégaoctet est un million d’octets).

Pour s’exercer

Exercice 1 : lignes ou colonnes ?

Un fichier de ventes compte 50 millions de lignes et 40 colonnes. Une analyse ne lit que 2 colonnes. Dans l’idéal, quelle part des données un rangement par colonnes lit-il, comparé à un rangement par lignes ? Pourquoi, en pratique, le gain est-il parfois moindre ?

Voir la réponse

En supposant des colonnes de même taille, 2 sur 40 font 5 % des données, contre 100 % avec un rangement par lignes : vingt fois moins à lire. En pratique le gain varie : les colonnes n’ont pas toutes la même taille, la compression change les tailles, et il reste des frais fixes (lecture des métadonnées, ouverture des fichiers). Mais l’ordre de grandeur reste très en faveur des colonnes pour l’analyse.

5Le lakehouse : les tables fiables sur un lac

Le mot lakehouse (de lake, le lac, et warehouse, l’entrepôt) désigne une architecture proposée au début des années 2020, notamment par la société Databricks : garder les fichiers ouverts du lac (le plus souvent Parquet) mais ajouter par-dessus une couche de tables qui apporte ce qui manquait.

5.1Comment ça marche Les « formats de tables ouverts » les plus connus sont Delta Lake, Apache Iceberg et Apache Hudi. Leur principe est le même. À côté des fichiers de données, ils tiennent un journal (des fichiers de métadonnées, c’est-à-dire de « données sur les données ») qui dit, à chaque instant : voici la liste exacte des fichiers qui forment la table. Pour modifier la table, on écrit de nouveaux fichiers, puis on ajoute une ligne au journal qui dit « à partir de maintenant, la table est faite de ceux-ci ». Tant que cette ligne n’est pas écrite, personne ne voit rien.

Ce simple mécanisme apporte : - des transactions : une écriture réussit entièrement ou pas du tout, et les lecteurs voient toujours un état cohérent. On les résume par le sigle ACID (atomicité, cohérence, isolation, durabilité : quatre propriétés qui garantissent qu’une opération n’est jamais vue à moitié faite) ; - le voyage dans le temps : comme les anciens fichiers sont conservés un moment, on peut relire la table telle qu’elle était hier ou la semaine dernière, pour retrouver une erreur ; - l’évolution du schéma : ajouter ou renommer une colonne sans réécrire tous les fichiers ; - la modification ligne par ligne : corriger ou supprimer une ligne, en ne réécrivant que les fichiers concernés.

TROIS FAÇONS D’ORGANISER LES DONNÉES D’ANALYSE Entrepôt données nettoyées et rangées en tables avant leur entrée SQL et rapports format du fournisseur cher, mais fiable Lac fichiers de toute sorte déposés tels quels dans un stockage bon marché chaque outil se débrouille pas de garanties souple, mais risque de désordre Lakehouse fichiers ouverts (Parquet) dans un stockage bon marché avec une couche de tables SQL, rapports, IA transactions et historique les deux atouts réunis
Figure 2. Entrepôt, lac et lakehouse comparés.

5.2Un peu d’histoire Delta Lake a été présenté par Databricks puis ouvert au public en 2019. Apache Iceberg est né chez Netflix, qui a rencontré les limites d’un lac géré sans transactions, puis a été confié à la fondation Apache. Ces projets ont convergé : plusieurs grands fournisseurs, dont les concurrents, savent aujourd’hui lire plusieurs de ces formats. Cette ouverture est le principal argument commercial du lakehouse : vos données restent dans vos fichiers, lisibles par plusieurs outils.

5.3Séparer le stockage et le calcul Dans un lakehouse, les fichiers dorment dans le stockage d’objets, et les moteurs de calcul sont allumés seulement quand on en a besoin : Apache Spark (calcul réparti sur de nombreuses machines), Trino (moteur SQL réparti), ou DuckDB (un moteur SQL minuscule qui tourne dans votre propre ordinateur et lit directement des fichiers Parquet). On paie le stockage en continu à bas prix, et le calcul seulement à l’usage. C’est ce qu’on appelle la séparation du stockage et du calcul.

Pour s’exercer

Exercice 2 : entrepôt, lac ou lakehouse ?

Choisissez le modèle le plus adapté et justifiez : (a) une association qui veut un tableau de bord mensuel à partir d’un seul tableur de 20 000 lignes ; (b) une entreprise qui veut entraîner des modèles sur des millions de photos de produits et aussi publier des rapports financiers ; (c) un grand distributeur qui n’a que des données de caisse sous forme de tables et veut des rapports fiables.

Voir la réponse

(a) Aucun des trois : un tableur ou une petite base suffit, une plateforme de données serait disproportionnée. (b) Un lakehouse : les photos vont dans le stockage de fichiers, les tables de données financières bénéficient des transactions et de l’historique, et le tout est lisible par des outils d’analyse comme d’apprentissage automatique. (c) Un entrepôt convient très bien : des données en tables, un besoin de fiabilité, peu de variété. Un lakehouse resterait possible si le distributeur veut éviter l’enfermement chez un fournisseur.