Les plateformes de données modernes : lacs, entrepôts et lakehouse
Partie 3 sur 3
6Faire circuler les données : l’architecture en couches
Reste à organiser le travail. Une méthode très répandue est l’architecture dite « médaillon », qui range les données en trois couches de qualité croissante.
| Couche | Contenu | Pour qui |
|---|---|---|
| Bronze | données brutes, copiées telles quelles depuis la source, avec la date de réception | l’équipe technique ; permet de tout rejouer |
| Argent | données nettoyées : doublons retirés, types corrigés, tables reliées | les analystes et les data scientists (spécialistes qui construisent des modèles) |
| Or | tables prêtes à l’emploi : chiffres d’affaires, indicateurs, tableaux de bord | la direction, les métiers |
Cette organisation a un grand mérite : si une erreur est découverte dans la couche or, on peut toujours revenir à la couche bronze, qui n’a pas été modifiée, et recalculer. Elle évite aussi que chaque équipe nettoie les données à sa façon, ce qui produit des chiffres différents pour la même question.
6.1Les flux en continu Certaines données arrivent sans arrêt : clics, mesures de capteurs, paiements. Au lieu de les accumuler pour un traitement nocturne, on peut les traiter au fil de l’eau (on dit « en flux » ou streaming). Les formats de tables du lakehouse acceptent ces écritures fréquentes et les mêlent aux données plus anciennes.
6.2La qualité, mesurée Un pipeline (chaîne de traitements) sans contrôle de qualité produit des erreurs silencieuses. On ajoute donc des tests à chaque étape : nombre de lignes attendu, aucune valeur vide dans les colonnes essentielles, aucune date dans le futur, totaux qui concordent avec la source. Un test qui échoue arrête le pipeline et prévient une personne, plutôt que de laisser un mauvais chiffre arriver dans un rapport lu par la direction.
7La gouvernance : le plus dur
La technique ne règle pas tout. Une plateforme de données sans règles devient vite inutilisable, ou dangereuse. On regroupe ces règles sous le nom de gouvernance des données.
7.1Le catalogue Un catalogue de données est l’inventaire de la plateforme : quelles tables existent, ce que signifie chaque colonne, qui en est responsable, quand elle a été mise à jour pour la dernière fois, qui a le droit de la lire. Sans lui, on retrouve le marécage. Il contient aussi la lignée (lineage) : le chemin de chaque donnée, de sa source jusqu’au tableau de bord. Quand un chiffre paraît faux, la lignée permet de remonter à l’étape fautive.
7.2Les droits d’accès Tout le monde n’a pas à tout voir. Les bonnes plateformes permettent de régler les droits par table, par colonne et même par ligne : un commercial voit les ventes de sa région, un analyste voit les clients sans leurs noms. Quand les droits sont réglés seulement par dossier dans le stockage, il est facile de se tromper.
7.3Les données personnelles Dès qu’un lac contient des informations sur des personnes (noms, adresses, historiques d’achats), le règlement européen sur les données personnelles, le RGPD, s’applique (voir l’article sur le RGPD). Deux difficultés propres aux plateformes modernes : - le droit à l’effacement : une personne peut demander que ses données soient supprimées. Dans un lac de fichiers qui ne se modifient pas et dont on garde l’historique, supprimer vraiment une ligne demande de réécrire les fichiers concernés et de purger les anciennes versions. Les formats de tables sont conçus pour cela, mais il faut le prévoir ; - la durée de conservation : garder des données « au cas où » n’est pas permis. Chaque table doit avoir une durée de vie décidée d’avance.
Une bonne pratique est de séparer les identités (nom, courriel) des autres données, en les remplaçant dans les tables d’analyse par un numéro (c’est la pseudonymisation). La table de correspondance est gardée à part, sous contrôle strict.
7.4Les coûts Un lac bon marché peut devenir cher : requêtes mal écrites qui lisent tout, copies oubliées, clusters (groupes de machines) laissés allumés. On suit les dépenses par équipe et on met des plafonds.
Pour s’exercer
Exercice 3 : le journal des modifications
Un lakehouse ajoute chaque nuit des fichiers à une table. Un programmeur lance par erreur une suppression de toutes les lignes d’un client mal choisi. Comment le voyage dans le temps aide-t-il, et quel réglage faut-il surveiller ?
Voir la réponse
Comme la table est décrite par un journal de versions, on peut relire la version d’avant la suppression et réécrire les lignes perdues, sans passer par une sauvegarde complète. Le réglage à surveiller est la durée de conservation des anciennes versions : les anciens fichiers sont nettoyés après un certain délai pour économiser de l’espace, et passé ce délai, le retour en arrière n’est plus possible. Cette durée doit aussi tenir compte du droit à l’effacement, qui oblige à purger vraiment les données supprimées.
8Choisir et migrer sans se tromper
Comment choisir ? Les questions utiles sont d’abord simples.
8.1Les questions à se poser - Quelle quantité de données ? Beaucoup de projets n’ont pas besoin de tout cela. Si vos données tiennent sur un seul ordinateur (quelques centaines de gigaoctets), une base classique ou DuckDB lisant des fichiers Parquet suffit largement, et coûte presque rien. Le gigaoctet vaut mille mégaoctets. - Quelle sorte de données ? Surtout des tableaux : un entrepôt convient. Surtout des fichiers variés ou de l’apprentissage automatique : un lac, plutôt avec un format de tables. - Quelles compétences ? Un entrepôt géré par un fournisseur demande peu d’équipe technique. Un lakehouse demande de savoir assembler plusieurs briques. - Quelle liberté ? Si vous craignez d’être enfermé chez un fournisseur, les formats ouverts (Parquet, Iceberg, Delta) permettent d’en changer sans tout recommencer.
8.2Les pièges fréquents - Commencer par l’outil, pas par le besoin. Une plateforme coûteuse sans question précise à résoudre reste vide. - Ignorer la qualité. Des données fausses stockées avec élégance restent fausses. - Négliger la formation. Un catalogue que personne ne tient à jour est inutile en six mois. - Tout migrer d’un coup. Mieux vaut commencer par un cas d’usage, mesurer, puis étendre.
Enfin, méfiez-vous des mots à la mode. Les noms changent (entrepôt, lac, lakehouse, « maille de données » ou data mesh, qui est avant tout une façon d’organiser les équipes) ; les questions de fond restent : d’où vient la donnée, est-elle fiable, qui peut la voir, combien coûte-t-elle ?