Les puces pour l'IA : GPU, NPU et accélérateurs
Partie 2 sur 5
3Les familles de puces
3.1Le processeur (CPU)
Le CPU (central processing unit, unité centrale de traitement) reste indispensable : il organise, il décide, il lance les calculs sur les autres puces. Il sait aussi faire de l’IA, notamment pour de petits modèles ou lorsque aucune puce spécialisée n’est présente, avec des instructions vectorielles qui traitent plusieurs nombres à la fois. Mais, pour de grands modèles, il est lent et gourmand par rapport aux spécialistes. Il devient « le chef d’orchestre » plus que le musicien.
3.2Le processeur graphique (GPU)
Le GPU (graphics processing unit) a été conçu pour l’image : afficher un écran de jeu vidéo demande de calculer la couleur de millions de points, en parallèle, avec des opérations très semblables (voir la carte graphique). Il contient donc des milliers de petits cœurs simples, et sa mémoire est conçue pour un très grand débit. Vers 2010, des chercheurs ont constaté que ces mêmes caractéristiques conviennent aux calculs des réseaux de neurones. Un événement marquant, souvent cité : en 2012, un réseau de neurones entraîné sur deux cartes graphiques de joueurs remporte avec une avance spectaculaire un concours de reconnaissance d’images, ce qui relance l’intérêt pour l’apprentissage profond. Depuis, le GPU est devenu la puce de l’IA, et des versions pour centres de données, sans sortie vidéo, y sont entièrement consacrées.
Un atout majeur des GPU est leur écosystème logiciel. Le fabricant dominant fournit depuis 2007 une plateforme de programmation, CUDA, et une vaste collection de bibliothèques optimisées sur lesquelles reposent les outils d’IA les plus utilisés. Cet environnement, accumulé pendant des années, constitue un avantage commercial très difficile à rattraper : changer de puce, c’est souvent réécrire ou adapter une partie du logiciel. D’autres fabricants proposent des solutions concurrentes (par exemple ROCm chez AMD) et des projets cherchent à rendre le code indépendant de la puce.
3.3La puce neuronale (NPU)
Le NPU (neural processing unit) est un petit bloc intégré dans la puce principale d’un téléphone, d’une tablette ou d’un ordinateur, entièrement dédié aux calculs d’IA. Il ne cherche pas la puissance maximale mais l’efficacité énergétique : réaliser beaucoup d’opérations par watt consommé, pour tenir sur batterie. Les premiers sont apparus dans les téléphones vers 2017 (par exemple le « Neural Engine » d’Apple) pour des tâches comme la reconnaissance du visage, l’amélioration des photos, la dictée vocale. Depuis 2024, les fabricants de processeurs d’ordinateurs en intègrent aussi, et certains systèmes réservent des fonctions d’IA aux machines dotées d’un NPU dépassant un seuil de puissance (de l’ordre de quarante TOPS pour la gamme « Copilot+ PC » de Microsoft). Ce seuil, comme d’autres, est un choix commercial autant que technique.
Le NPU est moins souple : il gère bien les modèles et les formats prévus par son fabricant, moins bien le reste ; ses performances dépendent beaucoup des logiciels qui savent s’en servir. Son intérêt pour l’utilisateur est surtout de faire tourner de petits modèles localement (voir l’IA locale) : sans connexion, sans envoyer ses données à un serveur, sans vider la batterie.
3.4Les accélérateurs des centres de données
Des acteurs du cloud (voir le cloud) ont conçu leurs propres puces. Google a lancé le TPU (tensor processing unit, annoncé en 2016) pour accélérer ses services de recherche et de traduction, puis l’a ouvert à ses clients ; Amazon et Microsoft ont produit leurs gammes, d’autres sociétés ont lancé des puces très spécialisées. Ces circuits sont des ASIC (application-specific integrated circuit, circuit intégré propre à une application) : conçus pour une seule famille de calculs, ils atteignent un rendement élevé, mais ne servent qu’à cela et coûtent très cher à concevoir, ce qui ne se justifie qu’à très grande échelle. Elles sont surtout accessibles par la location dans le nuage.
3.5Les circuits reprogrammables (FPGA)
Un FPGA (field-programmable gate array, réseau de portes programmable sur le terrain) est une puce dont on peut modifier le câblage interne après fabrication, un peu comme un jeu de construction qu’on réarrange. On peut y « graver » un circuit adapté à un calcul précis, avec un temps de réponse très court et très régulier. Il sert dans des cas spécifiques (traitement de signal, finance, équipements réseau, certains services d’IA à très faible délai). Son inconvénient : il est difficile à programmer, car il faut décrire un circuit plutôt qu’écrire un programme.
3.6Et les autres
L’éventail s’élargit : des puces d’inférence très rapides conçues autour de mémoire intégrée, des processeurs à très grande surface (une galette de silicium entière), des puces « neuromorphiques » qui imitent le fonctionnement des neurones, des projets de calcul optique ou quantique. Beaucoup de ces pistes sont expérimentales ; le marché reste dominé par quelques GPU et quelques accélérateurs maison.
4La mémoire : le vrai goulot
On imagine volontiers que la puissance d’une puce se résume à son nombre d’unités de calcul. En pratique, pour l’IA, la mémoire est souvent le facteur limitant. Les poids d’un grand modèle se comptent en dizaines ou centaines de gigaoctets. Pour produire chaque mot, il faut lire pratiquement tous ces poids, les amener aux unités de calcul, effectuer un calcul relativement léger, puis recommencer pour le mot suivant. Si les poids n’arrivent pas assez vite, les unités de calcul attendent, inoccupées.
4.1Capacité et débit
Deux grandeurs comptent : la capacité (combien de gigaoctets la puce peut contenir ; un modèle qui n’y tient pas doit être découpé sur plusieurs puces, ou compressé) et le débit, aussi appelé bande passante (combien de gigaoctets par seconde on peut lire). Le débit se mesure en gigaoctets, voire en téraoctets, par seconde. Un exemple pour fixer les idées : si un modèle occupe 40 gigaoctets en mémoire et que la puce lit 1 000 gigaoctets par seconde, elle ne peut pas produire plus de 25 mots par seconde, quelle que soit sa puissance de calcul, puisque chaque mot demande de relire tout le modèle. D’où l’importance du débit mémoire dans les fiches techniques.
4.2Des mémoires spéciales
La mémoire vive d’un ordinateur ordinaire (voir la mémoire vive) est trop lente pour ces besoins. Les accélérateurs haut de gamme emploient une mémoire dite HBM (high bandwidth memory, mémoire à grande bande passante), constituée de plusieurs puces de mémoire empilées les unes sur les autres et posées tout contre la puce de calcul, reliées par des milliers de connexions. Elle offre un débit très supérieur, au prix d’une fabrication complexe et d’un coût élevé : la HBM est un des composants les plus difficiles à se procurer. Les cartes grand public utilisent des mémoires graphiques plus classiques (GDDR). Dans les téléphones et les ordinateurs à puce intégrée, le NPU partage la mémoire du reste de la machine : c’est pourquoi la quantité de mémoire d’un appareil conditionne la taille des modèles qu’il peut faire tourner.
Une approche sépare ainsi deux types de machines : celles qui ont peu de mémoire mais beaucoup de calcul (certains ordinateurs de jeu), et celles qui ont beaucoup de mémoire partagée (certains ordinateurs avec mémoire unifiée), qui font tourner de gros modèles plus lentement, mais sans les découper.
4.3Relier les puces entre elles
Pour entraîner un très grand modèle, une seule puce ne suffit pas : on en relie des milliers, qui doivent échanger sans cesse des résultats. Des liaisons spécialisées (des « interconnexions ») permettent des échanges bien plus rapides que le bus classique de la carte mère (voir la carte mère). La qualité de ces liaisons, et du réseau qui relie les armoires de serveurs, détermine l’efficacité d’un grand centre de calcul autant que la puissance de chaque puce. Un centre mal relié gaspille de l’argent : les puces attendent les données des autres.