Les puces pour l'IA : GPU, NPU et accélérateurs
Partie 3 sur 5
5La précision des nombres
Dans un ordinateur, un nombre occupe un certain nombre de bits (voir la représentation binaire). Plus il y en a, plus le nombre est précis et grand l’intervalle couvert ; mais plus il occupe de place en mémoire, plus le calcul est lent et gourmand en énergie. Les concepteurs d’IA ont découvert que les modèles tolèrent très bien une précision bien plus faible que celle exigée en calcul scientifique classique.
5.1Les formats courants
- FP32 : nombre à virgule sur 32 bits, la précision « classique » des débuts de l’apprentissage profond.
- FP16 et BF16 : 16 bits. Deux variantes : FP16 est plus précis, BF16 (« brain float », format conçu chez Google) couvre un plus grand intervalle de valeurs, ce qui évite des dépassements pendant l’entraînement. Ils sont devenus la norme de l’entraînement.
- FP8 : 8 bits, pris en charge par les puces récentes, utilisé pour l’entraînement de très grands modèles et le service.
- INT8 : entiers sur 8 bits, très employé pour l’inférence, notamment dans les NPU.
- INT4 et formats voisins : 4 bits seulement, pour des modèles fortement compressés destinés à tourner sur du matériel modeste.
5.2La quantification
La quantification consiste à convertir les poids d’un modèle d’un format précis vers un format plus compact. Un modèle de 70 milliards de paramètres occupe environ 140 gigaoctets en 16 bits, environ 70 en 8 bits et environ 35 en 4 bits. Il tient alors sur une machine bien plus modeste, et, comme la lecture de la mémoire est le goulot (partie 4), il va aussi plus vite. Le prix est une perte de finesse : à l’extrême, les réponses se dégradent (plus d’erreurs, de répétitions, de contresens). Les techniques récentes de quantification limitent cette perte et, jusqu’à 8 bits, elle est souvent imperceptible ; en 4 bits, elle dépend du modèle et de l’usage, et doit se vérifier par des tests. C’est la technique qui permet de faire tourner des assistants sur un ordinateur portable ou un téléphone.
Un détail utile : la quantification réduit la taille et la vitesse de lecture, mais le gain réel dépend du matériel. Une puce qui n’a pas de circuit pour le format choisi doit convertir les nombres au vol, ce qui annule une partie du bénéfice. D’où l’intérêt de lire la fiche du fabricant : quels formats la puce accélère-t-elle ?
5.3La finesse n’est pas la justesse
Précision numérique et exactitude des réponses sont deux choses différentes. Un modèle quantifié peut calculer « un peu moins finement » sans pour autant dire plus de faussetés ; à l’inverse, un modèle en haute précision peut produire des affirmations inventées. La précision des nombres influe sur la qualité du calcul, non sur la fiabilité des faits (voir l’IA générative pour les limites des modèles).
Pour s’exercer
Exercice 2 : la taille d’un modèle selon la précision
Un modèle compte 8 milliards de paramètres. Quelle place occupe-t-il en 16 bits, en 8 bits et en 4 bits ? Tient-il dans 8 gigaoctets de mémoire ?
Voir la réponse
16 bits = 2 octets par paramètre : 16 gigaoctets. 8 bits = 1 octet : 8 gigaoctets. 4 bits = 0,5 octet : 4 gigaoctets. Dans 8 gigaoctets, il ne tient qu’en 4 bits (et en 8 bits il remplirait toute la mémoire, sans place pour le reste : il faut aussi prévoir de la mémoire pour le contexte de la conversation et pour le système).
Exercice 3 : le goulot mémoire
Une puce lit la mémoire à 500 gigaoctets par seconde. Un modèle occupe 25 gigaoctets. Combien de mots par seconde au maximum produit-elle, en supposant qu’il faut lire tout le modèle pour chaque mot ? Que se passe-t-il si l’on quantifie le modèle à moitié moins de place ?
Voir la réponse
500 ÷ 25 = 20 mots par seconde au maximum. Si le modèle occupe moitié moins de place (12,5 gigaoctets), la limite passe à 500 ÷ 12,5 = 40 mots par seconde : le gain de vitesse vient de la lecture de la mémoire, pas d’un calcul plus rapide. C’est pourquoi la quantification accélère les réponses.
6Entraînement et inférence
Deux usages très différents se cachent derrière le mot « IA », et ils ne demandent pas les mêmes puces.
6.1L’entraînement
L’entraînement construit le modèle : on lui présente d’énormes quantités d’exemples, on mesure ses erreurs, on ajuste ses poids pour les réduire, et l’on recommence pendant des semaines. C’est un travail très lourd, qui demande de la précision (FP16, BF16, FP8), beaucoup de mémoire (il faut conserver des données intermédiaires pour calculer les corrections), et surtout une interconnexion rapide entre des milliers de puces. Il est réalisé une fois (ou quelques fois) par modèle, par un petit nombre d’organisations qui disposent de grands centres de calcul. Son coût se chiffre en dizaines ou centaines de millions de dollars pour les plus grands modèles.
6.2L’inférence
L’inférence consiste à utiliser le modèle déjà construit pour répondre à une demande. Elle est beaucoup moins coûteuse par requête, mais elle se répète des millions, voire des milliards de fois par jour. À grande échelle, c’est elle qui domine la facture globale. Elle tolère une précision plus faible (INT8, INT4), se contente de moins de puces par requête, et valorise des qualités différentes : la latence (la rapidité de la première réponse), le débit (le nombre de requêtes traitées par seconde) et le coût par réponse. C’est le terrain des NPU, des puces d’inférence dédiées et des GPU plus modestes.
Deux étapes se distinguent d’ailleurs dans l’inférence d’un assistant : la lecture de la question, qui se calcule en parallèle et sollicite surtout la puissance de calcul, et la rédaction de la réponse mot à mot, qui sollicite surtout la mémoire (partie 4). Les services optimisent chacune séparément.
6.3Le réglage fin et la recherche
Entre les deux, le réglage fin (fine-tuning) adapte un modèle existant à un domaine particulier, avec beaucoup moins de calcul qu’un entraînement complet. Des méthodes allégées permettent de le faire sur une seule carte graphique. Les techniques qui consultent des documents au moment de répondre (voir la génération augmentée par la recherche) évitent même de réentraîner. Pour une organisation, ce sont les pistes les plus accessibles.
Pour s’exercer
Exercice 4 : entraînement ou inférence ?
Classez : (a) un laboratoire construit un nouveau modèle de langage pendant six semaines ; (b) une application de traduction répond à un million de demandes par jour ; (c) un téléphone transcrit un message vocal ; (d) une entreprise adapte un modèle à son vocabulaire juridique.
Voir la réponse
(a) entraînement ; (b) inférence ; (c) inférence, locale, sur un NPU ; (d) réglage fin, un travail intermédiaire beaucoup plus léger qu’un entraînement complet. Les puces conviennent différemment : grappes de GPU ou d’accélérateurs pour (a), puces d’inférence ou NPU pour (b) et (c), une ou quelques cartes pour (d).