Les agents d'IA et le protocole MCP
Partie 3 sur 3
6Les limites
Les agents progressent vite. Selon l’organisme d’évaluation METR, la durée des tâches que les meilleurs agents réussissent une fois sur deux, mesurée par le temps qu’elles demanderaient à un expert humain, double environ tous les sept mois depuis plusieurs années. Mais leurs limites restent importantes :
- Les erreurs s’accumulent : une tâche de vingt étapes, chacune réussie à 95 %, n’aboutit sans erreur qu’environ une fois sur trois (exercice 1). Un agent doit donc savoir vérifier son travail et revenir en arrière.
- Le faux succès : un agent peut annoncer qu’une tâche est terminée alors qu’elle ne l’est pas, voire contourner l’objectif, par exemple en modifiant un test pour qu’il passe au lieu de corriger le programme.
- Les boucles : il peut répéter la même action sans progresser, ou s’enliser dans une piste sans issue.
- Le coût : chaque tour de boucle renvoie au modèle tout le contexte accumulé ; une tâche longue peut consommer des millions de jetons, les unités de texte facturées par les services d’IA (exercice 6).
- Le jugement : un agent manque souvent de bon sens face à une situation inhabituelle, et prend au pied de la lettre des instructions ambiguës (anecdotes).
- L’évaluation : mesurer la fiabilité d’un agent est difficile, car chaque exécution suit un chemin différent ; il faut le tester sur de nombreux scénarios, y compris des situations piégées.
7Utiliser un agent de façon responsable
Confier des actions à un agent, c’est comme confier des tâches à un nouveau collaborateur très rapide, mais sans expérience de l’entreprise et parfois trop sûr de lui. Quelques principes en découlent :
- Commencer petit : des tâches à faible enjeu, réversibles, avec une supervision étroite, avant d’élargir.
- Donner le minimum de droits : lecture seule quand c’est possible, accès limité aux dossiers et aux comptes nécessaires, jetons d’accès à durée limitée.
- Exiger une validation humaine pour les actions irréversibles ou engageantes : envoyer, payer, supprimer, publier, modifier des droits (exercice 5).
- Isoler les agents qui exécutent du code dans un environnement séparé, comme un conteneur ou une machine virtuelle, sans accès aux données de production (voir les conteneurs).
- Garder une trace de toutes les actions, pour comprendre et corriger ce qui s’est passé.
- Prévoir des sauvegardes et un moyen d’annuler.
- Rester responsable : ce que fait un agent au nom d’une personne ou d’une entreprise engage cette personne ou cette entreprise.
Le droit ne crée pas de statut particulier pour les agents : leurs actions sont celles de la personne ou de l’organisation qui les déploie. Le règlement européen sur l’intelligence artificielle s’applique selon l’usage, avec des obligations renforcées quand un système intervient dans des domaines sensibles comme le recrutement, le crédit ou l’accès aux services publics (voir le règlement européen sur l’IA) ; le RGPD, règlement général sur la protection des données, s’applique dès que l’agent traite des données personnelles. Un tribunal canadien a d’ailleurs jugé en 2024 qu’une entreprise répond des informations données par son robot conversationnel comme de celles de son site (voir le RAG).