Aller au contenu
Encyclopédie informatique Édition 2026

RAG et bases vectorielles : faire parler ses documents

Partie 2 sur 3

Niveau de lecture :

4Les plongements : le sens mis en nombres

4.1Du texte aux vecteurs

Un plongement (en anglais embedding) est une liste de nombres, un vecteur, qui représente un texte : un mot, une phrase, un passage. Il est calculé par un modèle de plongement, un réseau de neurones entraîné de façon que des textes de sens voisin reçoivent des vecteurs voisins, même s’ils n’ont aucun mot en commun. « Combien de jours de repos ? » et « durée des congés payés » obtiennent ainsi des vecteurs proches, tandis que « remboursement des frais de taxi » en est éloigné. On peut se représenter chaque texte comme un point dans un espace : les textes qui parlent de la même chose forment des groupes (figure 2). Les vrais plongements comptent non pas deux, mais de quelques centaines à quelques milliers de nombres, ou dimensions, ce qui leur permet de capter de nombreuses nuances : le sujet, la langue, le ton, le type de document.

DES TEXTES DEVENUS DES POINTS congés notes de frais télétravail la question « combien de jours de repos ? » SIMILARITÉ : L’ANGLE ENTRE DEUX VECTEURS question passage « congés » passage « frais » petit angle : sens proche (cosinus ≈ 1) grand angle : sens éloigné En réalité, des centaines ou des milliers de dimensions, et non deux.
Figure 2. Des textes de sens voisin ont des vecteurs voisins : la recherche retient les passages dont l’angle avec la question est le plus petit.

4.2Mesurer la proximité

Pour savoir si deux vecteurs sont proches, on utilise le plus souvent la similarité cosinus : le cosinus de l’angle qu’ils forment. Elle vaut 1 quand les deux vecteurs pointent dans la même direction, 0 quand ils sont perpendiculaires, c’est-à-dire sans rapport, et −1 quand ils sont opposés. Son calcul est simple : on multiplie les vecteurs composante par composante, on additionne, c’est le produit scalaire, puis on divise par le produit de leurs longueurs (exercice 1). Beaucoup de modèles produisent des vecteurs de longueur 1, ce qui réduit la similarité au seul produit scalaire, très rapide à calculer. Rechercher les passages pertinents revient donc à chercher les plus proches voisins du vecteur de la question.

Cette recherche par le sens s’appelle la recherche sémantique. Elle complète la recherche par mots-clés, celle des moteurs classiques, qui retrouve les documents contenant les mots de la question : la recherche sémantique comprend les synonymes et les reformulations, et fonctionne même d’une langue à l’autre avec les modèles multilingues ; la recherche par mots-clés est imbattable pour retrouver un terme exact, un nom propre, une référence de produit ou un code d’erreur (exercice 3).

4.3D’où viennent les plongements

L’idée remonte aux années 2010. En 2013, la méthode word2vec, publiée par des chercheurs de Google, calcule un vecteur par mot en apprenant à prédire les mots voisins dans d’immenses corpus. Elle révèle un phénomène frappant : certaines relations de sens deviennent des déplacements dans l’espace. Le vecteur de « roi », moins celui d’« homme », plus celui de « femme », tombe près de celui de « reine ». Mais un mot n’a qu’un vecteur, quel que soit son sens dans la phrase : « avocat » le fruit et « avocat » le juriste se confondent.

Les modèles fondés sur les Transformers, l’architecture des grands modèles de langage, ont ensuite permis de calculer des plongements de phrases et de passages entiers, qui tiennent compte du contexte. Les modèles de plongement actuels sont entraînés par apprentissage contrastif : on leur présente des millions de paires de textes qui vont ensemble, une question et sa réponse, un titre et son article, et on les entraîne à rapprocher les vecteurs de ces paires tout en éloignant ceux de textes sans rapport. Il en existe de nombreux, commerciaux ou ouverts, plus ou moins performants selon les langues et les domaines ; des classements publics comparent leurs résultats. Point essentiel : les vecteurs de deux modèles différents ne sont pas comparables. Changer de modèle de plongement oblige à recalculer toute la base.

Pour s’exercer

Exercice 1 : calculer une similarité

Dans un espace simplifié à deux dimensions, la question a pour vecteur q = (3, 4). Deux passages ont pour vecteurs p1 = (4, 3) et p2 = (−4, 3). Calculez la similarité cosinus de la question avec chaque passage. Lequel la recherche retiendra-t-elle ?

Voir la réponse

Les trois vecteurs ont pour longueur √(3² + 4²) = 5. Produit scalaire de q et p1 : 3 × 4 + 4 × 3 = 24, d’où une similarité de 24 / (5 × 5) = 0,96 : les vecteurs pointent presque dans la même direction. Produit scalaire de q et p2 : 3 × (−4) + 4 × 3 = 0, d’où une similarité de 0 : les vecteurs sont perpendiculaires, les textes sans rapport. La recherche retient p1. Les vrais plongements ont des centaines de dimensions, mais le calcul est exactement le même, avec davantage de termes à additionner.

Exercice 2 : découper un manuel

Un manuel technique de 60 pages compte environ 400 mots par page. On le découpe en passages de 300 mots, chacun chevauchant le précédent de 50 mots. Combien de passages obtient-on, environ ? Si chaque plongement compte 1 024 nombres stockés sur 4 octets, quelle place occupent les vecteurs ? Pourquoi ce chevauchement ?

Voir la réponse

Le manuel compte 60 × 400 = 24 000 mots. Chaque nouveau passage avance de 300 − 50 = 250 mots : il faut donc environ 24 000 / 250 = 96 passages. Chaque vecteur occupe 1 024 × 4 = 4 096 octets, soit 4 kibioctets (Kio, 1 Kio valant 1 024 octets) ; les 96 vecteurs, environ 384 Kio, auxquels s’ajoutent le texte des passages et les métadonnées. Le chevauchement évite qu’une information à cheval sur deux passages, une phrase et sa condition, une règle et son exception, soit coupée en deux et introuvable : elle figure en entier dans au moins un passage.

Exercice 3 : mots-clés ou sens ?

Pour chacune de ces questions, quelle recherche risque d’échouer, par mots-clés ou sémantique ? (a) « Ma machine affiche l’erreur E-4012 » ; (b) « Comment récupérer l’argent avancé pour un déplacement ? », alors que la procédure s’intitule « Remboursement des notes de frais » ; (c) « Quel est le numéro de la directive sur les machines ? » posée à une base de documents en anglais.

Voir la réponse

(a) La recherche sémantique risque d’échouer : un code comme « E-4012 » a peu de sens pour un modèle de plongement, qui retrouvera des passages parlant d’erreurs en général, peut-être celui de l’erreur E-4021 ; la recherche par mots-clés trouve le code exact. (b) La recherche par mots-clés échoue : aucun mot important ne coïncide ; la recherche sémantique reconnaît la même idée. (c) La recherche par mots-clés échoue, les mots n’étant pas dans la même langue ; un modèle de plongement multilingue rapproche la question des passages en anglais. Conclusion : une recherche hybride combine les avantages des deux.

5Les bases vectorielles

5.1Leur rôle

Une base vectorielle stocke des vecteurs, accompagnés du texte et des métadonnées correspondants, et sait retrouver très vite les plus proches d’un vecteur donné. Comparer la question à chacun des passages, un par un, fonctionne pour quelques milliers de passages ; pour des millions, ce serait trop lent. Les bases vectorielles utilisent donc des index, des structures qui accélèrent la recherche, comme l’index d’un livre évite de le relire en entier (voir les bases de données). Elles permettent aussi de filtrer selon les métadonnées : seulement les documents de 2026, seulement ceux du service juridique, seulement ceux que l’utilisateur a le droit de lire.

5.2La recherche approximative

Trouver les plus proches voisins exacts parmi des millions de vecteurs de grande dimension est coûteux. Les bases vectorielles se contentent donc d’une recherche approximative des plus proches voisins (en anglais Approximate Nearest Neighbors, ANN) : elles trouvent en quelques millisecondes des voisins presque toujours parmi les meilleurs, en acceptant d’en manquer quelques-uns. La méthode la plus répandue, HNSW (Hierarchical Navigable Small World, petit monde navigable hiérarchique), publiée en 2016, relie chaque vecteur à quelques voisins dans un graphe à plusieurs étages : les étages supérieurs, peu peuplés, permettent de grands sauts à travers l’espace, comme les autoroutes ; les étages inférieurs, complets, permettent d’affiner, comme les petites routes. La recherche part du sommet et descend en se rapprochant à chaque pas de la cible. D’autres méthodes regroupent les vecteurs en grappes et ne fouillent que les grappes les plus prometteuses, ou compressent les vecteurs pour en garder davantage en mémoire. Toutes jouent sur le même compromis : vitesse, mémoire et précision.

5.3Quels outils ?

On trouve trois grandes familles :

  • des extensions de bases existantes : la plupart des grandes bases de données relationnelles ou de recherche savent désormais stocker et comparer des vecteurs, par exemple l’extension libre pgvector pour PostgreSQL, ce qui permet de tout garder au même endroit et d’utiliser SQL, le langage des bases de données (voir SQL) ;
  • des bases vectorielles spécialisées, souvent libres, comme Qdrant, Milvus, Weaviate ou Chroma, conçues pour de très gros volumes ou des usages avancés ;
  • des bibliothèques de recherche de voisins, comme FAISS, publiée en 2017 par Facebook, aujourd’hui Meta, que l’on intègre dans ses propres programmes.

Pour quelques milliers de documents, une extension de la base déjà en place suffit largement. Le choix d’une base spécialisée se justifie pour des centaines de millions de vecteurs ou des contraintes de vitesse fortes.