Aller au contenu
Encyclopédie informatique Édition 2026

Les modèles ouverts et l'IA sur sa propre machine

Partie 2 sur 3

Niveau de lecture :

4Pourquoi faire tourner une IA chez soi ?

  • La confidentialité : les questions, les documents et les réponses ne quittent pas la machine. C’est décisif pour des données de santé, des dossiers juridiques, des secrets industriels, du code source confidentiel ou des données personnelles (exercice 4).
  • La souveraineté : on ne dépend ni de la disponibilité, ni des tarifs, ni des changements de conditions d’un fournisseur étranger, ni des lois qui s’appliquent à lui (voir le cloud de confiance).
  • Le fonctionnement hors ligne : dans un avion, sur un chantier, sur un navire, dans un réseau isolé d’Internet pour des raisons de sécurité.
  • La maîtrise : le modèle ne change pas sans prévenir, ce qui garantit des résultats reproductibles ; on choisit sa version, on peut l’adapter à ses besoins (section 6).
  • Le coût : pour des usages intensifs et réguliers, du matériel amorti peut revenir moins cher qu’une facturation à l’usage ; pour des usages ponctuels, c’est souvent l’inverse (exercice 5).
  • L’apprentissage et la recherche : on peut observer le fonctionnement interne d’un modèle, tester, comparer, comprendre.

Le tableau 1 résume les différences avec un service d’IA en ligne.

Tableau 1. IA locale ou service en ligne : les principaux critères.
CritèreIA locale (modèle ouvert)Service en ligne (modèle fermé ou hébergé)
Donnéesrestent sur la machineenvoyées au fournisseur, sous les conditions du contrat
Performancesbonnes pour des tâches ciblées, limitées par le matérielles meilleurs modèles disponibles
Coûtmatériel et électricité, puis usage illimitéabonnement ou facturation au nombre de jetons
Mise en routeinstallation, réglages, maintenanceimmédiate
Hors ligneouinon
Stabilitéversion figée, choisie par l’utilisateurle modèle peut changer ou être retiré
Sécuritéentièrement à la charge de l’utilisateurpartagée avec le fournisseur

5Faire tourner un modèle : la pratique

5.1La mémoire, facteur décisif

Pour produire une réponse, tous les poids du modèle doivent tenir en mémoire : dans la mémoire vive de l’ordinateur (voir la mémoire vive) ou, mieux, dans la mémoire de la carte graphique, bien plus rapide (voir le processeur graphique). Chaque poids est stocké sur un certain nombre de bits : 16 dans la version d’origine, soit 2 octets. Un modèle de 8 milliards de paramètres occupe donc 16 gigaoctets. La quantification stocke chaque poids sur moins de bits, 8, 5 ou 4 par exemple, au prix d’une légère perte de qualité : le même modèle quantifié sur 4 bits n’occupe plus qu’environ 4 gigaoctets (figure 2). Il faut ajouter la mémoire nécessaire au contexte, qui croît avec la longueur des conversations et des documents traités, et celle du système et des autres logiciels.

MÉMOIRE NÉCESSAIRE POUR LES SEULS PARAMÈTRES, EN GIGAOCTETS 8 Go 16 Go 32 Go 64 Go 0 1 milliard de paramètres 0,5 Go 2 Go 4 milliards de paramètres 2 Go 8 Go 8 milliards de paramètres 4 Go 16 Go 14 milliards de paramètres 7 Go 28 Go 32 milliards de paramètres 16 Go 64 Go 70 milliards de paramètres 35 Go 140 Go quantifié sur 4 bits précision 16 bits Il faut ajouter la place du système, des logiciels et du contexte : prévoir une marge confortable.
Figure 2. La quantification divise par quatre la mémoire nécessaire : c’est elle qui rend l’IA locale accessible.

En pratique, en 2026 : un ordinateur portable récent avec 16 gigaoctets de mémoire fait fonctionner confortablement des modèles de 4 à 8 milliards de paramètres, utiles pour résumer, reformuler, traduire ou classer ; un poste de travail avec une carte graphique de 24 gigaoctets, ou un ordinateur doté d’une grande mémoire partagée entre processeur et puce graphique, accueille des modèles de 30 milliards de paramètres, nettement plus capables ; les plus grands modèles ouverts, de plusieurs centaines de milliards de paramètres, demandent des serveurs équipés de plusieurs cartes spécialisées. Les modèles dits à mélange d’experts, qui n’activent qu’une partie de leurs poids pour chaque mot, sont plus rapides qu’un modèle de même taille, mais doivent tout de même tenir entièrement en mémoire.

5.2La vitesse

Un modèle de langage produit sa réponse jeton par jeton, un jeton étant un mot ou un morceau de mot. Pour chaque jeton, il doit lire la totalité de ses poids en mémoire. La vitesse de génération est donc limitée moins par la puissance de calcul que par la bande passante mémoire, la quantité de données que la mémoire peut fournir par seconde. Ordre de grandeur : avec une mémoire qui débite 100 gigaoctets par seconde et un modèle de 4 gigaoctets, on ne peut guère dépasser 25 jetons par seconde (exercice 2). C’est pourquoi les cartes graphiques, dont la mémoire débite souvent bien plus de 500 gigaoctets par seconde, et les ordinateurs à mémoire unifiée rapide sont si appréciés pour l’IA locale, et pourquoi la quantification accélère aussi la génération : moins d’octets à lire par jeton.

La lecture de la question et des documents fournis, elle, se fait en parallèle sur tous les jetons à la fois : elle dépend surtout de la puissance de calcul. Sur une machine modeste, fournir un long document peut donc prendre plusieurs secondes, voire minutes, avant que la réponse ne commence. Pour comparer des machines, on mesure ainsi deux vitesses : celle de lecture du contexte et celle de génération, toutes deux en jetons par seconde.

5.3Les outils

Plusieurs logiciels, souvent libres, rendent l’IA locale accessible :

  • llama.cpp, un moteur d’inférence écrit en C et C++, qui fonctionne sur presque tous les matériels et a popularisé le format de fichier GGUF, qui regroupe dans un seul fichier les poids quantifiés et les informations nécessaires au modèle (anecdote) ;
  • Ollama et LM Studio, qui s’appuient notamment sur ce moteur et permettent de télécharger et d’utiliser un modèle en une commande ou quelques clics, avec une fenêtre de discussion ou un serveur local ;
  • vLLM et d’autres serveurs d’inférence, conçus pour servir efficacement de nombreux utilisateurs simultanés sur des serveurs équipés de cartes graphiques, en entreprise.

Avec Ollama, par exemple, deux commandes suffisent pour télécharger un modèle puis l’interroger dans le terminal :

ollama pull mistral
ollama run mistral "Résume en trois points les avantages de l'IA locale."

Ces outils exposent aussi une interface de programmation locale, compatible avec celle des grands services en ligne : les applications conçues pour un service d’IA en nuage peuvent ainsi, souvent en changeant seulement une adresse, utiliser le modèle local (voir les API).

5.5Choisir un modèle

Face à des centaines de modèles, quelques critères aident à choisir :

  • la taille, à adapter à la mémoire disponible (figure 2) : mieux vaut un modèle moyen bien quantifié qu’un très grand modèle quantifié à l’extrême, qui perd beaucoup en qualité ;
  • la variante : un modèle « de base » sait seulement prolonger un texte ; pour dialoguer ou suivre des consignes, on choisit la version dite « instruct » ou « chat », affinée pour cela ;
  • la spécialité : modèles généralistes, modèles pour la programmation, modèles capables de lire des images, modèles de raisonnement, modèles de plongement pour la recherche dans des documents ;
  • la langue : tous les modèles ne sont pas aussi bons en français qu’en anglais ; il faut tester sur ses propres textes ;
  • la fenêtre de contexte, c’est-à-dire la quantité de texte que le modèle peut prendre en compte à la fois, importante pour traiter de longs documents ;
  • la licence, compatible avec l’usage prévu (section 3).

Les classements publics donnent une première idée, mais rien ne remplace un essai sur une vingtaine de cas réels, représentatifs de l’usage prévu, en comparant les réponses de deux ou trois modèles candidats (exercice 8).

5.6Sur un téléphone ou dans le navigateur

L’IA locale ne se limite pas aux ordinateurs. Les téléphones récents intègrent des processeurs spécialisés dans les calculs des réseaux de neurones, et leurs systèmes d’exploitation embarquent de petits modèles de langage, de quelques milliards de paramètres au plus, qui résument des notifications, corrigent des textes ou transcrivent la voix sans connexion. Les tâches plus difficiles sont, selon les cas, confiées à des serveurs. Les navigateurs Web, de leur côté, peuvent désormais faire tourner de petits modèles directement dans une page, en utilisant la carte graphique grâce à l’interface WebGPU, et en exécutant du code compilé à vitesse quasi native grâce à WebAssembly (voir WebAssembly) : aucune installation n’est nécessaire, et les données restent dans le navigateur. Ces petits modèles sont limités, mais suffisent pour de nombreuses tâches simples et gagnent en qualité à chaque génération.

5.4Une installation type

Une fois le modèle téléchargé, toute la chaîne fonctionne sur la machine (figure 3) : le fichier du modèle est chargé par le moteur d’inférence, qui calcule les réponses ; un serveur local les met à la disposition des applications, fenêtre de discussion, éditeur de code, outil de recherche dans ses documents. Rien ne transite par Internet, à condition que les applications elles-mêmes n’envoient rien ailleurs.

VOTRE ORDINATEUR OU VOTRE SERVEUR fichier du modèle paramètres quantifiés quelques gigaoctets moteur d’inférence calcule les réponses sur la puce graphique serveur local interface standard pour les applications conversation fenêtre de discussion éditeur de code assistant de code vos documents RAG local dépôt de modèles téléchargement une seule fois Internet aucune donnée envoyée Une fois le modèle téléchargé, tout le calcul se fait sur place : questions et documents restent chez vous.
Figure 3. Avec une IA locale, questions et documents ne quittent pas la machine.

Pour s’exercer

Exercice 1 : ça tient ?

Un ordinateur portable a 16 gigaoctets de mémoire, partagés entre le système et la puce graphique. Peut-on y faire tourner un modèle de 14 milliards de paramètres quantifié sur 4 bits ? Sur 8 bits ?

Voir la réponse

Sur 4 bits, soit un demi-octet par paramètre : 14 × 0,5 = 7 gigaoctets pour les poids. Avec le contexte, le système et les autres logiciels, on reste sous 16 gigaoctets : cela fonctionne, à condition de fermer les applications gourmandes. Sur 8 bits, soit un octet par paramètre : 14 gigaoctets pour les seuls poids ; il ne reste presque rien pour le système et le contexte : impossible en pratique. Un modèle de 8 milliards de paramètres sur 8 bits, soit 8 gigaoctets, serait l’alternative.

Exercice 2 : estimer la vitesse

La mémoire d’un ordinateur débite 120 gigaoctets par seconde. Quelle vitesse de génération maximale peut-on espérer avec un modèle de 8 milliards de paramètres quantifié sur 4 bits ? Et sur 16 bits ? Comparez avec une vitesse de lecture humaine d’environ 5 mots par seconde.

Voir la réponse

Sur 4 bits, le modèle occupe environ 4 gigaoctets ; chaque jeton demande de lire ces 4 gigaoctets : au mieux 120 / 4 = 30 jetons par seconde, soit une vingtaine de mots par seconde, bien plus vite qu’on ne lit. Sur 16 bits, 16 gigaoctets : au mieux 120 / 16 = 7,5 jetons par seconde, soit environ 5 mots par seconde, à peine plus que la vitesse de lecture, ce qui donne une impression de lenteur. Ces chiffres sont des plafonds théoriques ; la vitesse réelle est un peu inférieure.

Exercice 3 : lire une licence

Une jeune entreprise veut intégrer un modèle ouvert dans un logiciel qu’elle vend. Elle hésite entre un modèle sous licence Apache 2.0 et un modèle sous licence maison qui interdit certains usages et impose une mention du modèle dans le produit. Que doit-elle vérifier ?

Voir la réponse

Pour la licence Apache 2.0 : l’usage commercial, la modification et la redistribution sont permis ; il faut conserver la licence et les mentions de copyright, et signaler les modifications. Pour la licence maison : la liste des usages interdits, pour s’assurer que son produit n’y tombe pas ; les obligations de mention ; d’éventuels seuils d’utilisateurs ou de chiffre d’affaires ; les restrictions sur l’utilisation des réponses ; la loi applicable et les conditions de résiliation. Dans les deux cas, il faut aussi s’intéresser aux données d’entraînement, si elles sont documentées, et aux obligations du règlement européen liées à l’usage prévu. En cas de doute, l’avis d’un juriste s’impose.

Exercice 4 : le cabinet médical

Un cabinet médical veut un outil qui résume les comptes rendus de consultation. Pourquoi un modèle local est-il une option intéressante ? Quelles précautions restent nécessaires ?

Voir la réponse

Les données de santé sont des données sensibles : en France, leur hébergement par un prestataire doit être confié à un hébergeur certifié pour les données de santé, dit HDS, et le RGPD impose des garanties renforcées. Un modèle local évite toute transmission à un tiers. Restent nécessaires : la sécurité du poste ou du serveur, chiffrement du disque, comptes protégés, mises à jour, sauvegardes ; la vérification des résumés par le médecin, car le modèle peut omettre ou déformer une information ; l’information des patients ; et une évaluation sérieuse de la qualité sur de vrais comptes rendus avant tout usage courant.

Exercice 5 : acheter ou louer ?

Une petite entreprise dépense 300 € par mois en services d’IA en ligne pour des tâches de résumé et de classement. Un poste de travail capable de les faire localement coûte 4 000 €, plus environ 30 € d’électricité par mois. Au bout de combien de temps l’achat est-il amorti ? Quels éléments le calcul oublie-t-il ?

Voir la réponse

L’économie mensuelle est de 300 − 30 = 270 €. L’achat est amorti au bout de 4 000 / 270 ≈ 15 mois. Le calcul oublie : le temps passé à installer, maintenir et sécuriser le système ; la qualité, éventuellement inférieure, qui peut demander plus de relecture ; l’évolution des prix des services en ligne, qui baissent souvent ; la durée de vie du matériel ; et les avantages non financiers, confidentialité et indépendance. Pour un usage ponctuel ou des tâches difficiles, le service en ligne reste souvent préférable.

Exercice 6 : quel fichier télécharger ?

Pour un même modèle, un dépôt propose un fichier au format pickle, ancien format de sauvegarde de Python, et un fichier au format safetensors. Lequel choisir, et pourquoi ?

Voir la réponse

Le format safetensors. Le format pickle peut contenir du code arbitraire, exécuté au simple chargement du fichier : un fichier piégé peut ainsi installer un programme malveillant sur la machine (coin cyber). Le format safetensors, conçu pour ce problème, ne contient que des tableaux de nombres et des métadonnées, sans code exécutable. Il faut aussi vérifier l’origine du fichier : dépôt officiel de l’éditeur, nombre de téléchargements, empreinte numérique publiée.

Exercice 7 : un serveur trop ouvert

Pour que ses collègues en profitent, un technicien installe un serveur d’IA local sur une machine de l’entreprise et le configure pour écouter sur toutes les adresses réseau, sans mot de passe. La machine a une adresse publique. Quels risques ? Que faire ?

Voir la réponse

Le serveur est accessible depuis tout Internet : n’importe qui peut utiliser gratuitement la machine, la surcharger, télécharger ou supprimer des modèles selon les fonctions offertes, et lire les données envoyées par les autres utilisateurs si elles sont journalisées. Des chercheurs ont recensé plus d’un millier de serveurs de ce type exposés sans protection. Il faut le faire écouter seulement sur le réseau interne, le placer derrière un pare-feu et un serveur mandataire qui exige une authentification, chiffrer les échanges et surveiller son utilisation (voir le pare-feu).

Exercice 8 : choisir pour une association

Une association veut résumer en français les comptes rendus de ses réunions, qui contiennent des informations sur ses adhérents, avec un ordinateur portable de 16 gigaoctets. Comment choisir et évaluer un modèle ?

Voir la réponse

D’abord les contraintes : 16 gigaoctets imposent un modèle d’environ 8 milliards de paramètres quantifié sur 4 bits, ou un peu plus grand s’il reste de la marge ; la langue française exige un modèle bon en français ; la tâche demande une version « instruct » et une fenêtre de contexte suffisante pour un compte rendu entier ; la licence doit autoriser cet usage. Ensuite, retenir deux ou trois candidats, et les tester sur une dizaine de vrais comptes rendus, en vérifiant que les résumés sont fidèles, complets sur les décisions prises et sans invention. Enfin, choisir le meilleur compromis qualité et vitesse, rédiger une consigne type et prévoir une relecture humaine. Les données des adhérents restent sur l’ordinateur, qu’il faut protéger : mot de passe, chiffrement du disque, sauvegardes.