Les modèles ouverts et l'IA sur sa propre machine
Partie 3 sur 3
6Adapter un modèle
Disposer des poids permet d’adapter le modèle à ses besoins, ce que les modèles fermés ne permettent que de façon limitée :
- Le RAG local : plutôt que de modifier le modèle, on lui fournit à chaque question les passages pertinents de ses propres documents, indexés sur la même machine (voir le RAG). C’est souvent la meilleure solution pour apporter des connaissances.
- L’affinage : on poursuit l’entraînement du modèle sur ses propres exemples, pour lui apprendre un style, un format, un vocabulaire, une tâche précise, comme extraire des informations de comptes rendus médicaux ou répondre dans le ton d’une marque.
- La distillation : on entraîne un petit modèle à imiter les réponses d’un grand sur une tâche donnée, pour obtenir un modèle rapide et économique, spécialisé.
Réentraîner tous les poids d’un modèle de plusieurs milliards de paramètres demanderait une mémoire considérable. La méthode LoRA (Low-Rank Adaptation, adaptation de faible rang), publiée en 2021 par des chercheurs de Microsoft, contourne la difficulté : elle gèle les poids d’origine et n’entraîne que de petites matrices ajoutées, qui représentent la correction à apporter, souvent moins de 1 % du nombre de paramètres. Sa variante QLoRA, publiée en 2023, applique cette méthode à un modèle quantifié sur 4 bits, ce qui permet d’affiner un modèle de plusieurs dizaines de milliards de paramètres sur une seule carte graphique. Les petites matrices obtenues, appelées adaptateurs, ne pèsent que quelques dizaines ou centaines de mégaoctets : on peut en conserver plusieurs pour un même modèle, un par tâche, et les charger selon les besoins. L’affinage reste un vrai projet : il faut des exemples de qualité, en nombre suffisant, et une évaluation rigoureuse, car un modèle affiné peut perdre des capacités générales ou des protections.
7Les limites
- Les performances : les modèles qui tiennent sur un ordinateur personnel sont nettement moins capables que les meilleurs modèles fermés, en raisonnement, en connaissances, en programmation ou dans les langues moins répandues. Ils conviennent bien aux tâches ciblées ; moins aux problèmes difficiles.
- Le matériel : une machine capable de faire tourner de bons modèles coûte cher, consomme de l’électricité et chauffe ; un serveur d’entreprise avec plusieurs cartes spécialisées représente un investissement important.
- L’exploitation : installer, mettre à jour, sécuriser, surveiller et faire évoluer le système est à la charge de l’utilisateur ou de son équipe informatique.
- Les fonctions annexes : recherche sur le Web, lecture de documents variés, outils, mémoire : ce que les grands services proposent clés en main doit être assemblé soi-même.
- Les connaissances figées : un modèle téléchargé ne connaît que ce qui figurait dans ses données d’entraînement ; il ignore l’actualité, sauf si on lui fournit des documents récents ou un accès à une recherche, ce qui réintroduit des échanges avec l’extérieur. Il faut aussi suivre la publication de nouvelles versions, souvent bien meilleures, et les tester avant de remplacer l’ancienne.
- La responsabilité : les protections intégrées aux modèles ouverts sont souvent plus légères, et peuvent être retirées par affinage ; celui qui déploie un modèle répond de l’usage qui en est fait.
8Les enjeux
La souveraineté. Les modèles ouverts permettent à des pays, des administrations et des entreprises de disposer d’une IA qu’ils contrôlent, sans dépendre entièrement de quelques fournisseurs. L’Europe y voit un levier, avec des acteurs comme Mistral AI et des projets publics de modèles multilingues ; la Chine en a fait une stratégie, avec de nombreux modèles publiés sous licence libre.
Le débat sur l’ouverture. Les partisans de l’ouverture mettent en avant la transparence, la recherche indépendante, la concurrence et la possibilité pour chacun d’auditer les modèles. Ses critiques s’inquiètent des usages malveillants : une fois publiés, les poids ne peuvent plus être retirés, et les protections peuvent être supprimées. Le débat porte surtout sur les modèles les plus puissants, pour lesquels certains laboratoires choisissent de ne pas publier les poids.
Le cadre juridique. Le règlement européen sur l’intelligence artificielle allège certaines obligations de documentation pour les modèles publiés sous licence libre avec leurs poids, sauf pour les modèles présentant un risque systémique, ceux dont la puissance d’entraînement dépasse un seuil élevé (voir le règlement européen sur l’IA). Les obligations liées à l’usage, elles, s’appliquent à celui qui déploie le modèle, qu’il soit ouvert ou non, tout comme le RGPD, le règlement général sur la protection des données, dès que des données personnelles sont traitées.
L’environnement. L’IA locale n’est pas forcément plus sobre. Les centres de données mutualisent leurs machines, les font tourner à pleine charge et optimisent leur refroidissement ; un poste de travail qui reste allumé pour quelques requêtes par jour consomme proportionnellement davantage. En revanche, un petit modèle bien choisi, utilisé sur un ordinateur que l’on possède déjà, pour une tâche qui ne demande pas plus, évite de solliciter un modèle géant à distance. Le bon réflexe est le même partout : choisir le plus petit modèle qui fait correctement le travail, et éviter d’acheter du matériel surdimensionné pour un usage occasionnel (voir le numérique responsable).