Les bases NoSQL
Partie 2 sur 4
3Les grandes familles
3.1Clé-valeur : le dictionnaire géant
C’est la famille la plus simple. La base ne connaît que deux notions : une clé (un nom unique, par exemple session:42) et une valeur (n’importe quoi : un texte, un nombre, un paquet d’octets). Les trois opérations de base sont : ranger une valeur sous une clé, la relire, la supprimer. Ce n’est pas plus compliqué qu’un dictionnaire, et c’est précisément pour cela que c’est extrêmement rapide.
Les usages typiques sont les caches (garder en mémoire le résultat d’un calcul lent pour ne pas le refaire), les sessions (retenir qu’un utilisateur est connecté), les compteurs (nombre de visites), les files d’attente. Beaucoup de ces bases gardent tout en mémoire vive (voir la mémoire), ce qui les rend mille fois plus rapides qu’un disque, au prix d’un stockage plus cher et limité ; elles peuvent écrire régulièrement sur disque pour survivre à un redémarrage. On peut aussi fixer à une clé une durée de vie (en anglais TTL, pour time to live) après laquelle elle disparaît toute seule : pratique pour un code de confirmation valable cinq minutes. Exemples : Redis et son fork libre Valkey, Memcached, Amazon DynamoDB (qui offre en plus des fonctions de document).
Limite : on ne peut interroger que par la clé. « Trouver toutes les sessions de cet utilisateur » n’est pas possible sans maintenir soi-même une deuxième clé qui les liste.
3.2Document : la fiche autonome
Une base de documents range des fiches structurées, le plus souvent en JSON (JavaScript Object Notation, un format texte pour décrire des objets avec leurs champs et leurs listes, voir XML et JSON) ou dans une variante binaire plus compacte. Contrairement à une paire clé-valeur, la base comprend la structure du document : on peut chercher « tous les documents où la ville est Tours et où l’âge dépasse 30 », créer des index (voir les bases de données) sur n’importe quel champ, et modifier un champ sans réécrire tout le document.
C’est la famille la plus polyvalente et la plus répandue : catalogues de produits, profils d’utilisateurs, contenus de sites, données d’applications mobiles. On retrouve dans les documents les listes imbriquées (les lignes d’une commande) qui, en relationnel, auraient demandé une autre table. Exemples : MongoDB, Couchbase, Apache CouchDB, Amazon DocumentDB, et les colonnes de type JSON des bases relationnelles comme PostgreSQL.
3.3Colonnes larges : les journaux géants
Les bases à colonnes larges (aussi dites familles de colonnes), héritières de Bigtable, ressemblent de loin à des tables mais fonctionnent différemment. Les lignes sont repérées par une clé, groupées selon cette clé, et les colonnes sont libres : une ligne peut en avoir dix, une autre dix mille, et on ne paie pas pour les colonnes vides. Ces bases sont construites pour absorber un flux continu d’écritures sur de nombreuses machines : journaux d’événements, mesures de capteurs, historiques d’activité, messagerie. Exemples : Apache Cassandra, Apache HBase, Google Bigtable, ScyllaDB.
Il ne faut pas confondre « colonnes larges » avec les bases orientées colonnes pour l’analyse (comme celles qu’on trouve dans les entrepôts de données), qui rangent chaque colonne séparément pour calculer vite des totaux sur des milliards de lignes (voir les données modernes). Les deux familles portent des noms voisins et résolvent des problèmes différents.
Autre particularité : pour que ces bases restent rapides, on choisit à l’avance les questions. Une table de Cassandra est construite pour répondre à une question, par exemple « les derniers messages d’une conversation », et on crée une autre table, avec les mêmes données rangées autrement, pour répondre à une autre.
3.4Graphe : les relations d’abord
Dans une base de graphe, l’information principale n’est pas la fiche mais le lien. Les données sont des nœuds (une personne, un compte, un produit) reliés par des relations (« connaît », « a payé », « habite à ») qui peuvent elles-mêmes porter des informations (depuis quand). Ce qui est lent ou pénible en relationnel, par exemple « les amis des amis des amis de Ada », se fait naturellement : on part d’un nœud et l’on suit les liens, comme on suivrait des fils. Le coût dépend du nombre de liens parcourus, pas de la taille totale de la base.
Usages : réseaux sociaux, recommandations (« ceux qui ont acheté ceci ont aussi… »), détection de fraude (des comptes qui partagent la même adresse, le même téléphone), cartes de dépendances d’un système informatique, connaissances structurées. Exemples : Neo4j, Amazon Neptune, ArangoDB. Les bases relationnelles récentes ajoutent aussi des requêtes de graphe à SQL (voir les SGBD).
3.5D’autres familles utiles
- Les bases de recherche (Elasticsearch, OpenSearch, Apache Solr) classent des documents par pertinence selon les mots, avec des fautes de frappe tolérées : c’est le moteur de recherche d’un site de commerce.
- Les bases de séries temporelles (InfluxDB, TimescaleDB) rangent des mesures datées (température, consommation, cours de bourse) et savent calculer des moyennes par heure ou des tendances.
- Les bases vectorielles rangent des suites de nombres qui représentent le sens d’un texte ou d’une image et retrouvent les éléments « proches » d’une question : elles servent aux systèmes d’intelligence artificielle qui répondent en s’appuyant sur des documents (voir la recherche augmentée par génération).
- Les bases multi-modèles combinent plusieurs familles en un seul produit.
Pour s’exercer
Exercice 1 : choisir une famille
Pour chaque besoin, citez la famille NoSQL la plus adaptée : (a) retenir qu’un utilisateur est connecté pendant 30 minutes ; (b) stocker des fiches de produits dont les caractéristiques varient beaucoup ; (c) repérer des comptes qui partagent un même numéro de téléphone ; (d) enregistrer les relevés d’un million de capteurs chaque minute.
Voir la réponse
(a) clé-valeur, avec une durée de vie de 30 minutes ; (b) document ; (c) graphe : on part d’un numéro et l’on suit les liens vers les comptes ; (d) séries temporelles ou colonnes larges, conçues pour de très fortes quantités d’écritures horodatées.
Exercice 2 : intégrer ou référencer
Dans un site de blog, doit-on intégrer les commentaires dans le document de l’article, ou les ranger à part avec une référence vers l’article ?
Voir la réponse
Cela dépend du nombre. Si chaque article n’a que quelques commentaires, les intégrer permet de tout lire en un coup. Si certains articles en reçoivent des milliers, le document grossirait sans limite, serait lent à charger et approcherait la taille maximale : il vaut mieux ranger les commentaires à part, avec l’identifiant de l’article, et les lire par pages. Règle : intégrer ce qui est borné, référencer ce qui grandit sans limite.
4Répartir les données sur plusieurs machines
L’argument principal des bases NoSQL est qu’elles grandissent en ajoutant des machines. Il faut comprendre cette différence.
- La montée en puissance verticale consiste à acheter un serveur plus gros (plus de processeurs, plus de mémoire, plus de disques). C’est simple, mais il y a un plafond, un coût qui augmente plus vite que la puissance, et un point unique de panne.
- La montée en puissance horizontale consiste à ajouter des serveurs ordinaires et à répartir le travail entre eux. Il n’y a presque pas de plafond, et la panne d’une machine ne coûte qu’un morceau. Mais le logiciel doit gérer la répartition, ce qui est difficile : c’est le sujet de cette partie.
Deux mécanismes se combinent presque toujours.
4.1La réplication : plusieurs copies
La réplication garde la même donnée sur plusieurs machines (par exemple trois). On y gagne en résistance : si une machine tombe, les autres ont les données. On y gagne aussi en capacité de lecture : les demandes de lecture peuvent être réparties entre les copies. Deux grandes organisations existent :
- Un chef et des suiveurs (aussi dit principal et secondaires) : toutes les écritures passent par le chef, qui les transmet aux autres. C’est simple et cohérent, mais si le chef tombe, il faut en élire un nouveau, ce qui prend quelques secondes pendant lesquelles on ne peut plus écrire.
- Sans chef : toutes les copies acceptent des écritures (c’est le choix de Dynamo et de Cassandra). Le système ne s’arrête jamais, mais deux copies peuvent recevoir des écritures contradictoires pour la même donnée, qu’il faudra réconcilier (partie 5).
4.2Le partitionnement : un morceau par machine
Le partitionnement (en anglais sharding, de shard, « éclat ») découpe les données en morceaux, chacun rangé sur une machine différente. La question est : à partir d’une clé, comment savoir sur quelle machine elle se trouve ? Deux méthodes courantes :
- le partitionnement par intervalles : les clés de A à F sur la machine 1, de G à M sur la machine 2, etc. Il permet de parcourir une plage (« tous les clients de A à C »), mais risque de créer des points chauds si l’activité se concentre sur un intervalle ;
- le partitionnement par hachage : on applique à la clé une fonction mathématique qui la transforme en un nombre apparemment aléatoire (voir les fonctions de hachage) ; ce nombre désigne la machine. La charge est bien répartie, mais on perd l’ordre des clés. Pour qu’ajouter une machine ne force pas à tout redistribuer, on utilise un hachage cohérent : les machines et les clés sont placées sur un cercle imaginaire, et chaque clé appartient à la première machine rencontrée en tournant dans un sens. Quand une machine arrive ou part, seule une petite part des clés change de propriétaire. C’est l’une des idées de Dynamo.
Choisir la clé de partitionnement est l’une des décisions les plus importantes d’un projet : une mauvaise clé (par exemple la date du jour, que tout le monde écrit en même temps) met toute la charge sur une seule machine et annule l’intérêt de la répartition. Les jointures entre deux collections réparties sont, elles aussi, coûteuses : c’est l’une des raisons pour lesquelles on regroupe les données liées dans un même document.