Aller au contenu
Encyclopédie informatique Édition 2026

IA et cybersécurité

Partie 3 sur 3

Niveau de lecture :

5Utiliser l’IA sans danger : principes de conception

Les mêmes principes que pour tout système s’appliquent, avec quelques adaptations.

  1. Donner le minimum de pouvoirs. Un assistant ne doit pouvoir faire que ce dont il a besoin : lecture seule plutôt qu’écriture, un dossier plutôt que tout le disque, un compte dédié plutôt que celui de l’utilisateur. Plus ses droits sont limités, moins une manipulation coûte.
  2. Garder un humain pour les actes graves. Envoi à l’extérieur, paiement, suppression, changement de droits : la personne confirme, en voyant ce qui va être fait.
  3. Traiter les sorties du modèle comme des entrées non fiables. Le texte produit n’est pas du code sûr ni une commande de confiance ; avant de l’exécuter ou de l’afficher, on le vérifie, comme on le ferait pour une saisie d’utilisateur (voir l’injection SQL pour un principe voisin).
  4. Séparer les contenus de confiance et les autres. Marquer clairement ce qui vient d’une source externe, et ne pas laisser un document lu déclencher des actions sans contrôle.
  5. Filtrer l’accès aux documents. Un assistant d’entreprise qui répond à partir de documents ne doit retrouver que ce que l’utilisateur a le droit de lire.
  6. Réduire les données envoyées. Ne pas transmettre à un service externe de données personnelles ou secrètes ; préférer, pour les cas sensibles, un modèle hébergé en interne (voir l’IA en local).
  7. Journaliser et surveiller. Garder la trace des requêtes et des actions, pour détecter des usages anormaux et enquêter après coup.
  8. Tester par des attaques encadrées. Faire éprouver l’application par des spécialistes autorisés avant le lancement, puis régulièrement (red teaming).
  9. Maîtriser la chaîne d’approvisionnement. Contrôler l’origine des modèles, des données et des extensions.
  10. Prévoir l’arrêt. Un interrupteur qui désactive l’assistant, et un plan si une fuite ou une dérive survient.

5.1Règles de bon sens pour un usage personnel ou professionnel

  • Ne pas saisir dans un assistant en ligne de mots de passe, de données de santé, de secrets d’entreprise ou de données personnelles de tiers, sauf si le service est autorisé et prévu pour cela.
  • Relire et tester ce que l’assistant produit, surtout du code ou des textes juridiques ou médicaux.
  • Utiliser les outils validés par son entreprise plutôt que des comptes personnels (on parle d’IA « fantôme » quand des salariés emploient des outils non autorisés).
  • Ne pas faire confiance à un assistant qui lit des contenus externes pour agir seul sur vos comptes.

Pour s’exercer

Exercice 3 : le tri des alertes

Un outil à IA classe 1 000 alertes par jour. Il en signale 50 comme graves. Dans les faits, 10 de ces 50 sont réellement graves, et 5 autres alertes graves ont été classées « sans importance ». Calculez la part des alertes signalées qui sont vraiment graves, et la part des alertes graves qu’il a trouvées. Que disent ces deux nombres ?

Voir la réponse

Alertes signalées réellement graves : 10 sur 50, soit 20 % (c’est la précision). Alertes graves trouvées : il y en avait 15 au total (10 trouvées et 5 manquées), donc 10 sur 15, soit environ 67 % (c’est le rappel). Le premier nombre dit qu’une alerte « grave » sur cinq est justifiée : les analystes perdront du temps. Le second dit qu’un tiers des problèmes sérieux échappe à l’outil : il ne peut pas être la seule défense. Améliorer l’un dégrade souvent l’autre, et c’est un choix à faire en connaissance de cause.

6Encadrer l’IA : les règles et les guides

Plusieurs textes et documents s’appliquent. Les voici, avec leur rôle.

  • Le règlement européen sur l’IA (AI Act, règlement 2024/1689). Entré en vigueur en août 2024, il classe les usages par niveau de risque : certains sont interdits (par exemple la notation sociale des personnes), d’autres, dits « à haut risque » (recrutement, accès à des services essentiels, éducation), sont soumis à des exigences strictes : gestion des risques, qualité des données, documentation, supervision humaine, robustesse et cybersécurité. Les interdictions s’appliquent depuis février 2025 et les règles sur les modèles à usage général depuis août 2025. Pour les systèmes à haut risque, un accord adopté en 2026 (« omnibus numérique ») a reporté les échéances vers fin 2027 et 2028 ; les dates exactes sont à vérifier dans le texte en vigueur.
  • Le RGPD (voir cet article) s’applique dès que l’IA traite des données personnelles : base légale, minimisation, information, droits des personnes, sécurité.
  • NIS 2 (voir la directive) impose la gestion des risques de sécurité aux entités concernées, y compris pour leurs outils d’IA.
  • Les guides de l’ANSSI : l’agence française a publié en 2024 des recommandations de sécurité pour les systèmes d’IA générative, qui détaillent les risques à chaque étape (entraînement, déploiement, exploitation).
  • Les référentiels techniques : la liste de l’OWASP pour les applications à modèle de langage, le catalogue MITRE ATLAS, le cadre de gestion des risques de l’IA de l’institut américain NIST (2023).
  • La norme ISO/CEI 42001 (2023) : un système de management de l’IA, comparable dans l’esprit à la norme ISO 27001 pour la sécurité de l’information.

Pour une organisation, la démarche est la même que pour les autres risques (voir la gestion des risques) : recenser les usages de l’IA, évaluer les risques, fixer des règles, former, contrôler.

7Ce qui change, ce qui ne change pas

  • Ce qui change : la vitesse, le volume et la qualité des attaques fondées sur le langage et l’image ; l’apparition de systèmes qui agissent à notre place, avec des erreurs d’un genre nouveau ; l’arrivée de règles spécifiques.
  • Ce qui ne change pas : les bases. Mises à jour, mots de passe uniques et double authentification, sauvegardes, droits limités, journaux, formation des personnes, plan d’incident. Une organisation qui néglige ces bases ne sera pas sauvée par un outil d’IA, et une qui les applique réduit déjà la plupart des risques liés à l’IA.
  • Ce qui reste ouvert : la défense contre l’injection de consignes, l’évaluation fiable de la sécurité d’un modèle, la responsabilité en cas d’erreur d’un agent. Il faut accepter ces zones d’incertitude et réduire les dégâts possibles plutôt que compter sur une protection parfaite.
Sécurité de l’information

Le coin cyber

Cet article décrit les risques de l’IA et les moyens de s’en protéger. Il ne contient aucun texte d’attaque prêt à l’emploi ni aucune méthode pour contourner les protections d’un modèle.

C.1Le cadre légal

Utiliser l’IA pour tromper (usurper une voix, une identité, escroquer) tombe sous les infractions classiques : escroquerie, usurpation d’identité, atteinte aux systèmes de traitement de données (voir la cybercriminalité). Tester la sécurité d’un assistant sans l’accord de son propriétaire est interdit ; on ne le fait que dans le cadre d’un test autorisé ou d’un programme public de signalement de failles.

C.2Idée reçue

« Un bon filtre peut empêcher qu’un assistant soit détourné par un texte piégé. » Faux, du moins aujourd’hui. Les filtres réduisent le risque mais ne le suppriment pas, car l’assistant traite tout en bloc comme du texte. La solution durable est de limiter ce que l’assistant peut faire, pas seulement ce qu’il peut lire.

C.3Bonnes pratiques

Particulier

  • Vérifier par un autre canal toute demande urgente, même avec la voix ou le visage d’un proche.
  • Ne pas confier à un assistant en ligne des données personnelles ou secrètes.
  • Relire et tester ce que produit l’assistant avant de s’en servir.

Organisation

  • Recenser les usages de l’IA, fixer une charte, proposer des outils validés.
  • Limiter les droits des assistants et exiger une validation humaine pour les actes graves.
  • Tester les applications par des attaques encadrées et surveiller leurs journaux.

Référentiels : Règlement (UE) 2024/1689 (AI Act) · OWASP, Top 10 for LLM Applications · MITRE ATLAS · NIST, AI Risk Management Framework 1.0 (2023) · ISO/CEI 42001:2023 · ANSSI, Recommandations de sécurité pour un système d’IA générative (2024).

Références

  1. Règlement (UE) 2024/1689 du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle.
  2. NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), 2023.
  3. ISO/CEI 42001:2023, Système de management de l’intelligence artificielle.
  4. ANSSI, Recommandations de sécurité pour un système d’IA générative, 2024.
  5. OWASP, Top 10 for Large Language Model Applications.

Voir aussi

Citer cet article

« IA et cybersécurité », Encyclopédie informatique, révision du 4 novembre 2026.