L'IA générative et les grands modèles de langage
Partie 2 sur 3
3Comment fonctionne un modèle de langage
3.1Des jetons et des probabilités
Un modèle de langage ne manipule pas des lettres ni exactement des mots, mais des jetons (en anglais tokens) : des mots courts, des morceaux de mots, des signes de ponctuation, chacun identifié par un numéro (figure 1). En moyenne, un jeton correspond à environ trois quarts de mot en anglais, un peu moins en français. À partir des jetons qu’il a reçus, le modèle calcule, pour chacun des dizaines de milliers de jetons de son vocabulaire, la probabilité qu’il vienne ensuite. Un jeton est alors tiré au sort selon ces probabilités, ajouté au texte, et le calcul recommence, jeton après jeton, jusqu’à la fin de la réponse.
Ce principe, prédire la suite, peut sembler bien modeste. Mais pour bien prédire la suite de textes très variés, cours de physique, romans, programmes, conversations, le modèle doit capter une grande partie des régularités qu’ils contiennent : la grammaire, les faits, les raisonnements, les styles. C’est ce qui lui permet ensuite de répondre à des questions, de résumer, de traduire ou de programmer.
3.2L’attention
Au cœur d’un Transformer se trouve le mécanisme d’attention. Chaque jeton est d’abord transformé en une longue liste de nombres, un vecteur, qui représente son sens. Puis, couche après couche, chaque jeton « regarde » tous les jetons précédents et calcule lesquels sont pertinents pour lui : dans « la tasse est tombée parce qu’elle était au bord », le jeton « elle » prête beaucoup d’attention à « tasse ». La représentation de chaque jeton s’enrichit ainsi de son contexte. Un grand modèle empile des dizaines de couches de ce type, chacune avec de nombreuses « têtes » d’attention qui captent des relations différentes. Tous ces calculs se font en parallèle, ce qui les rend très efficaces sur les processeurs graphiques (voir le processeur graphique).
3.3De la machine à prédire à l’assistant
Un modèle de langage passe par plusieurs étapes d’entraînement (figure 2) :
- le pré-entraînement : le modèle apprend à prédire la suite de textes sur des milliers de milliards de jetons, issus d’Internet, de livres, d’articles et de programmes. C’est un apprentissage dit auto-supervisé, car les textes fournissent eux-mêmes la réponse à deviner, le mot suivant ; il mobilise des milliers de puces spécialisées pendant des mois (voir l’apprentissage automatique). Le résultat sait compléter des textes, mais ne sait pas encore dialoguer : à une question, il peut répondre par… une autre question, comme dans une liste de questions trouvée sur le Web ;
- l’affinage par instructions : on lui montre des exemples de consignes accompagnées de bonnes réponses, rédigées par des humains, pour qu’il apprenne à suivre des demandes ;
- l’alignement : on lui fait produire plusieurs réponses, que des humains, ou d’autres modèles guidés par des principes écrits, classent de la meilleure à la moins bonne ; un apprentissage par renforcement, c’est-à-dire par essais et récompenses, l’amène à préférer les réponses utiles, honnêtes et sûres. On parle d’apprentissage par renforcement à partir de retours humains, en anglais RLHF (Reinforcement Learning from Human Feedback). Les modèles de raisonnement sont en outre entraînés par renforcement à résoudre des problèmes vérifiables, comme des exercices de mathématiques ou de programmation.
3.4La fenêtre de contexte et la mémoire
Un modèle de langage ne se souvient de rien d’une requête à l’autre : à chaque échange, on lui renvoie toute la conversation. La quantité de texte qu’il peut prendre en compte à la fois s’appelle la fenêtre de contexte, mesurée en jetons. Elle est passée de quelques milliers de jetons en 2020 à plusieurs centaines de milliers, voire davantage, pour les modèles récents : de quoi y placer des livres entiers ou des bases de code. Les « mémoires » proposées par certains assistants sont en réalité des notes enregistrées à part et réinjectées dans le contexte. Les connaissances du modèle, elles, s’arrêtent à la date de ses données d’entraînement : pour des informations récentes, il doit consulter un moteur de recherche ou des documents (voir le RAG).
3.5Le hasard et la température
Puisque chaque jeton est tiré au sort, la même question peut recevoir des réponses différentes. Un réglage, la température, dose ce hasard : basse, le modèle choisit presque toujours les jetons les plus probables, et ses réponses sont prévisibles ; élevée, il prend davantage de risques, ce qui peut favoriser l’originalité… ou les erreurs (exercice 1). Pour une extraction de données ou un calcul, on préfère une température basse ; pour un brainstorming ou un texte créatif, plus élevée.
3.6Les modèles de raisonnement
On a remarqué dès 2022 qu’un modèle répond mieux à un problème de logique ou de mathématiques quand on lui demande de « raisonner étape par étape » : en écrivant ses calculs intermédiaires, il s’appuie sur eux pour produire les jetons suivants, au lieu de deviner directement le résultat. Cette technique s’appelle la chaîne de pensée (en anglais chain of thought). Les modèles de raisonnement, apparus en septembre 2024 avec o1 d’OpenAI, en font une méthode systématique : entraînés par renforcement sur des problèmes dont on peut vérifier la solution, ils produisent une longue réflexion, souvent masquée ou résumée pour l’utilisateur, avant de donner leur réponse. Ils explorent des pistes, repèrent leurs erreurs, reviennent en arrière.
Ce gain a un prix : une réponse peut demander des milliers de jetons de réflexion, donc plus de temps et de calcul. On parle de calcul au moment de l’inférence, l’inférence étant l’utilisation du modèle, par opposition à son entraînement : plutôt que d’entraîner un modèle toujours plus gros, on le laisse « réfléchir » plus longtemps. Pour une question simple, un modèle classique suffit ; pour une démonstration, un problème de programmation difficile ou une analyse en plusieurs étapes, un modèle de raisonnement fait souvent nettement mieux. Beaucoup d’assistants choisissent désormais eux-mêmes le niveau de réflexion selon la question.
3.7Taille, mémoire et astuces d’ingénieur
Chaque paramètre d’un modèle est un nombre stocké en mémoire, classiquement sur 16 bits, soit 2 octets. Un modèle de 7 milliards de paramètres occupe donc environ 14 gigaoctets, et un modèle de 400 milliards de paramètres environ 800 gigaoctets, qu’il faut charger dans la mémoire de plusieurs processeurs graphiques. Plusieurs techniques réduisent ces besoins :
- la quantification stocke chaque paramètre sur moins de bits, 8 ou 4 par exemple, au prix d’une légère perte de qualité ; c’est elle qui permet de faire tourner des modèles sur un ordinateur portable (exercice 7 et l’IA sur sa propre machine) ;
- le mélange d’experts (en anglais mixture of experts) découpe le modèle en nombreux sous-réseaux spécialisés, dont seuls quelques-uns sont activés pour chaque jeton : le modèle peut compter des centaines de milliards de paramètres tout en n’en utilisant qu’une petite partie à chaque calcul ;
- la distillation entraîne un petit modèle à imiter les réponses d’un grand : on obtient un modèle plus rapide et moins coûteux, qui conserve une bonne partie des capacités de son « professeur ».
Les services en ligne facturent l’usage de leurs modèles au nombre de jetons, en distinguant les jetons envoyés au modèle, moins chers, et les jetons qu’il produit, plus chers, car chacun demande un calcul complet (exercice 8). Les jetons de réflexion des modèles de raisonnement sont facturés comme des jetons produits.
Pour s’exercer
Exercice 1 : la température
Reprenez les probabilités de la figure 1. Si le modèle choisit toujours le jeton le plus probable, que donne la phrase ? Que se passe-t-il, en moyenne, si l’on tire au sort selon les probabilités affichées, sur cent générations ? Et avec une température très élevée ?
Voir la réponse
Toujours le plus probable : « Le chat dort sur le canapé », à chaque fois ; c’est le comportement d’une température nulle. Avec un tirage selon les probabilités, environ 31 générations sur 100 donneront « canapé », 22 « lit », 14 « tapis », 8 « toit », 6 « radiateur », et les autres un jeton moins fréquent. Avec une température très élevée, les probabilités s’aplatissent : des jetons improbables, voire absurdes, deviennent presque aussi fréquents que les meilleurs, et le texte devient incohérent. Une température modérée est un compromis entre variété et cohérence.
Exercice 2 : améliorer une consigne
Une personne en reconversion demande : « Écris-moi une lettre de motivation. » Le résultat est banal. Proposez une meilleure consigne.
Voir la réponse
Par exemple : « Je postule à un poste de technicien support informatique dans une entreprise de 50 salariés, à Tours. J’ai été cinq ans vendeuse en électroménager, je viens d’obtenir une certification de technicienne d’assistance, et j’ai dépanné bénévolement les ordinateurs d’une association. Voici l’offre : […]. Rédige une lettre d’une page, sur un ton simple et direct, qui relie mon expérience de la relation client aux besoins du poste. N’invente aucune expérience ni compétence que je n’ai pas citée. Propose ensuite trois questions que je pourrais poser en entretien. » La consigne donne le contexte, le destinataire, le format, le ton, les informations à utiliser, une interdiction claire et une tâche complémentaire. Il restera à relire, corriger et personnaliser le texte.
Exercice 3 : combien de pages ?
Un modèle dispose d’une fenêtre de contexte de 200 000 jetons. Sachant qu’une page de roman compte environ 300 mots, et qu’un mot français correspond en moyenne à environ 1,5 jeton, combien de pages peut-on lui fournir à la fois ? Pourquoi faut-il garder une marge ?
Voir la réponse
Une page représente environ 300 × 1,5 = 450 jetons. 200 000 / 450 ≈ 440 pages. Il faut garder une marge, car la fenêtre doit aussi contenir la consigne, la conversation, les éventuelles consignes système et la réponse elle-même, qui peut être longue. En pratique, les modèles exploitent aussi moins bien les informations noyées au milieu de très longs contextes : pour une question précise sur un gros corpus, il vaut souvent mieux ne fournir que les passages pertinents (voir le RAG).
Exercice 4 : vérifier une réponse
Un assistant affirme qu’un article du Code du travail prévoit telle durée de préavis, en citant le numéro de l’article. Comment vérifier ? Quelle confiance accorder à la réponse si l’assistant n’a pas accès à des sources ?
Voir la réponse
Vérifier sur une source officielle, comme Légifrance, que l’article existe, qu’il dit bien cela, et qu’il est en vigueur : les textes changent, et le modèle peut s’appuyer sur une version ancienne. Sans accès à des sources, la réponse provient de la « mémoire » statistique du modèle : elle peut être exacte, approximative, périmée ou inventée, numéro d’article compris. Pour une question juridique qui a des conséquences, l’assistant peut aider à comprendre et à formuler les bonnes questions, mais la vérification à la source, voire l’avis d’un professionnel, reste nécessaire.
Exercice 5 : le rapport confidentiel
Un salarié colle un rapport interne confidentiel dans un assistant en ligne gratuit, pour en obtenir un résumé. Quels risques ? Que faire à la place ?
Voir la réponse
Le texte quitte l’entreprise et est traité par un service extérieur, sous des conditions d’utilisation que le salarié n’a sans doute pas lues : les données peuvent être conservées, consultées pour la modération ou utilisées pour améliorer les modèles, selon les offres. C’est une fuite de données au regard de la politique de l’entreprise, et potentiellement du RGPD (règlement général sur la protection des données) si le rapport contient des données personnelles. À la place : utiliser l’outil d’IA validé par l’entreprise, avec un contrat qui encadre le traitement des données, ou un modèle installé en interne ; à défaut, anonymiser le texte ou s’abstenir. L’entreprise, de son côté, doit fixer des règles claires et proposer une solution autorisée, sans quoi les salariés utiliseront des outils non maîtrisés.
Exercice 6 : un modèle qui ne sait pas dialoguer
On pose à un modèle seulement pré-entraîné, sans affinage, la question « Quelle est la capitale de l’Australie ? ». Il répond : « Quelle est la capitale du Canada ? Quelle est la capitale du Brésil ? ». Pourquoi ?
Voir la réponse
Un modèle pré-entraîné a seulement appris à prolonger des textes. Sur le Web, une question de ce type apparaît souvent dans une liste de questions de quiz ; la suite la plus probable est donc… une autre question. C’est l’affinage par instructions et l’alignement qui lui apprennent qu’une question appelle une réponse. Cet exemple montre que le comportement d’assistant n’est pas « naturel » au modèle : il résulte d’un entraînement supplémentaire, qui façonne aussi son ton, ses refus et ses limites.
Exercice 7 : un modèle sur son ordinateur
Un ordinateur portable dispose de 16 gigaoctets de mémoire. Peut-on y faire tourner un modèle de 8 milliards de paramètres stockés sur 16 bits ? Et après une quantification sur 4 bits ?
Voir la réponse
Sur 16 bits, soit 2 octets par paramètre : 8 × 2 = 16 gigaoctets, rien que pour les paramètres. Il faut en plus de la mémoire pour le système, les autres logiciels et les calculs liés au contexte : cela ne tient pas. Sur 4 bits, soit un demi-octet par paramètre : 8 × 0,5 = 4 gigaoctets, plus un peu de marge, ce qui tient largement. La quantification sur 4 bits dégrade légèrement la qualité des réponses, mais rend ces modèles utilisables sur du matériel courant, sans envoyer ses données à l’extérieur (voir l’IA sur sa propre machine).
Exercice 8 : le budget d’un service
Une entreprise ajoute un assistant à son service client. Le fournisseur facture, à des tarifs fictifs, 3 € par million de jetons envoyés au modèle et 15 € par million de jetons produits. Chaque demande envoie en moyenne 2 000 jetons (consigne système, documents utiles et question) et reçoit une réponse de 500 jetons. Combien coûtent 1 000 demandes par jour pendant 30 jours ? Que se passe-t-il si l’on passe à un modèle de raisonnement qui produit en plus 3 000 jetons de réflexion par réponse, au même tarif ?
Voir la réponse
Par jour : 1 000 × 2 000 = 2 millions de jetons envoyés, soit 2 × 3 = 6 € ; 1 000 × 500 = 500 000 jetons produits, soit 0,5 × 15 = 7,50 €. Total : 13,50 € par jour, soit 405 € pour 30 jours. Avec le modèle de raisonnement, chaque réponse produit 500 + 3 000 = 3 500 jetons, soit 3,5 millions par jour et 3,5 × 15 = 52,50 € ; le total passe à 58,50 € par jour, soit 1 755 € par mois, plus de quatre fois plus. Le choix du modèle se fait donc selon la difficulté réelle des questions : un modèle simple pour les demandes courantes, un modèle de raisonnement seulement quand il apporte un vrai gain.
4Images, sons et vidéos
La génération d’images repose aujourd’hui surtout sur les modèles de diffusion. Pour les entraîner, on prend des millions d’images accompagnées de leur description, et on leur ajoute progressivement du bruit aléatoire, jusqu’à les rendre méconnaissables ; le modèle apprend l’opération inverse : retirer un peu de bruit, en s’aidant de la description. Pour créer une image, on part d’un bruit pur et l’on applique cette opération des dizaines de fois : une image apparaît peu à peu, conforme à la description (figure 3).
Des techniques voisines produisent de la vidéo, de la musique et de la voix. La synthèse vocale est devenue si réaliste que quelques secondes d’enregistrement suffisent pour imiter la voix d’une personne, ce qui ouvre la porte à des escroqueries par téléphone (coin cyber). Les modèles multimodaux les plus récents dialoguent à l’oral en temps réel, décrivent une photo, lisent un graphique ou un document scanné.
Avant la diffusion, les meilleures images artificielles venaient des réseaux antagonistes génératifs (GAN), apparus en 2014 : un réseau « faussaire » produit des images, un réseau « expert » tente de les distinguer des vraies, et chacun progresse en affrontant l’autre. En 2019, le site This Person Does Not Exist affichait à chaque visite un visage inventé par un tel réseau, d’un réalisme alors saisissant. Les GAN sont rapides, mais instables à entraîner et difficiles à guider par une description en texte ; les modèles de diffusion, plus lents mais plus fiables et plus faciles à orienter, les ont largement remplacés pour la création d’images à partir d’une description. Les générateurs de vidéo combinent diffusion et Transformers, en traitant la vidéo comme une suite de petits blocs d’image, un peu comme les jetons d’un texte.