IA et cybersécurité
Partie 2 sur 3
3L’IA entre les mains des attaquants
Les outils d’IA sont disponibles pour tout le monde, y compris pour les personnes malveillantes. Il n’existe pas ici de « super-arme » nouvelle ; ce qui change, ce sont le coût, la qualité et le volume. Voici les évolutions principales, présentées sans détail d’exécution.
- Des messages de meilleure qualité. Pendant longtemps, les fautes de langue et les formules maladroites trahissaient les arnaques par courriel. Un modèle de langage rédige un texte propre, dans la langue de la victime, adapté à son métier ou à ses centres d’intérêt, à très bas coût. Le conseil « repérez les fautes » ne suffit plus ; il faut vérifier l’origine et la demande (voir l’ingénierie sociale).
- Le ciblage à grande échelle. L’IA aide à rassembler des informations publiques sur une personne et à préparer un message crédible, ce qui rapproche l’hameçonnage de masse de l’hameçonnage ciblé.
- Les voix et visages truqués. Quelques secondes d’enregistrement suffisent pour imiter une voix ; des vidéos truquées (hypertrucages, deepfakes) font parler un dirigeant. Les escrocs s’en servent pour faire exécuter un virement ou pour contourner la vérification d’identité.
- L’aide à la programmation. Les assistants de code abaissent la barrière d’entrée : des personnes peu expérimentées peuvent écrire ou adapter plus facilement des programmes. Les fournisseurs de modèles mettent des garde-fous, mais ceux-ci ne sont pas infaillibles, et des modèles ouverts sans garde-fous existent.
- L’automatisation. Des agents peuvent enchaîner des étapes sans intervention humaine. Les entreprises de sécurité et les fournisseurs de modèles ont déjà signalé des campagnes où l’IA était employée pour accélérer le travail des attaquants.
Ce qui reste vrai : une attaque réussit encore, dans la grande majorité des cas, par un mot de passe volé, une faille non corrigée ou une personne trompée. L’IA accélère ces trois voies sans en inventer d’autres.
3.1Parades : peu de technique, beaucoup d’organisation
- Vérifier par un autre canal. Si une demande urgente (virement, changement de coordonnées bancaires, mot de passe) arrive par message, appel ou visioconférence, on rappelle la personne sur un numéro connu, ou on utilise un mot convenu à l’avance entre proches ou collègues.
- Séparer les pouvoirs. Aucun virement important sans deux personnes, quel que soit le patron qui le demande.
- Protéger les comptes par une double authentification résistante à l’hameçonnage (voir les clés d’accès).
- Former sans moquer : montrer des exemples récents d’imitations de voix et de messages parfaits, plutôt que répéter qu’« on repère les fautes ».
- Méfiance sur les « preuves » : un enregistrement ou une vidéo ne prouve plus à lui seul quoi que ce soit ; on cherche une confirmation indépendante.
Pour s’exercer
Exercice 1 : une demande de virement en visioconférence
Une comptable reçoit une invitation à une visioconférence où elle voit et entend ce qui semble être son directeur financier, qui lui demande un virement urgent et confidentiel. Que doit faire l’entreprise pour éviter ce piège ?
Voir la réponse
Image et voix ne suffisent plus à prouver une identité. La parade est organisationnelle : un virement important exige une double validation par deux personnes, quelle que soit la demande ; en cas d’urgence « confidentielle », on rappelle la personne sur un numéro connu, ou on passe par un autre canal déjà établi. On forme le personnel à refuser poliment une exception, et l’on indique que la direction acceptera ce refus.
4Attaquer l’IA elle-même
Un système d’IA est un logiciel comme les autres : il a des failles ordinaires (mots de passe faibles, serveurs non mis à jour). Il en a aussi de nouvelles, propres à sa façon de fonctionner. Les listes de référence, comme la liste des dix risques majeurs des applications à modèle de langage de l’OWASP (association qui publie des guides de sécurité des applications) ou la base MITRE ATLAS (catalogue des méthodes d’attaque contre l’IA), les décrivent. Voici les principales, au niveau des idées.
4.1L’injection de consignes
Comme le modèle ne distingue pas les instructions des données, un texte bien placé peut le détourner. On distingue deux cas.
- L’injection directe : l’utilisateur écrit lui-même quelque chose comme « oublie tes consignes et fais autre chose » pour faire sortir l’assistant de son rôle.
- L’injection indirecte : l’instruction est cachée dans un contenu que l’assistant lit pour rendre service (une page web, un courriel, un document, un commentaire). La personne qui pose la question n’a rien fait de mal, et le texte piégé a été écrit par un tiers. Un agent qui lit votre courrier peut ainsi recevoir un message qui lui dit de transmettre vos documents.
Il n’existe aujourd’hui aucun filtre qui règle complètement le problème, parce que la frontière entre ordre et donnée n’existe pas dans le modèle. On réduit le risque par l’architecture : limiter ce que l’assistant peut faire (partie 5).
4.2La fuite de données
Un assistant peut révéler ce qu’il ne devrait pas : ses consignes internes, des informations d’autres utilisateurs, des documents de l’entreprise accessibles par une recherche trop large, ou des fragments de données d’entraînement. Côté utilisateur, le risque est inverse : coller dans un service en ligne un code source, un contrat ou des données de clients, c’est les confier à un tiers. Des entreprises ont dû limiter l’usage de ces services après que des employés y avaient copié des informations confidentielles.
4.3L’empoisonnement des données et des modèles
La qualité d’un modèle dépend des données qui l’ont nourri. Si quelqu’un peut y glisser des exemples faussés (pages web publiques, documents partagés, corrections d’utilisateurs), il peut orienter les réponses, ou implanter un comportement caché déclenché par un mot précis. En 2016, un robot conversationnel d’une grande entreprise du numérique, ouvert au public sur un réseau social, a été amené en moins d’une journée à tenir des propos injurieux, parce que des utilisateurs l’ont volontairement nourri de messages choquants. Le même principe vaut pour les bases de documents des assistants de l’entreprise : qui peut y écrire peut influencer les réponses.
4.4Les modèles et bibliothèques comme chaîne d’approvisionnement
On télécharge des modèles, des jeux de données, des extensions. Certains formats de fichiers de modèles peuvent contenir du code qui s’exécute à l’ouverture, et des paquets malveillants portant des noms proches de bibliothèques connues existent. Les assistants de code peuvent aussi proposer des paquets qui n’existent pas, que des malveillants s’empressent ensuite de publier. Les règles de la sécurité de la chaîne d’approvisionnement s’appliquent : source connue, vérification, versions figées.
4.5Les exemples trompeurs et le vol de modèle
Un modèle de reconnaissance d’images peut être trompé par des modifications minuscules, invisibles pour nous, qui lui font prendre un panneau pour un autre. Un modèle accessible en ligne peut aussi être interrogé en masse pour reconstituer une copie approximative (« extraction »). Ces risques concernent surtout les systèmes sensibles (véhicules, contrôle d’accès) et ceux dont le modèle a une valeur commerciale.
4.6Les erreurs « honnêtes »
Tous les incidents ne viennent pas d’une attaque. Un assistant qui invente une référence juridique, un code qui contient une faille discrète, un résumé qui oublie l’essentiel : ces hallucinations et erreurs sont un risque de sécurité, quand on s’y fie sans contrôle.
Pour s’exercer
Exercice 2 : un assistant qui lit le courrier
Votre entreprise veut installer un assistant qui lit tous les courriels, résume les messages et peut répondre et transférer des pièces jointes. Quels risques voyez-vous, et quelles limites proposez-vous ?
Voir la réponse
Le risque principal est l’injection indirecte : un courriel venu de l’extérieur peut contenir des instructions cachées, que l’assistant exécuterait avec les droits de l’utilisateur, par exemple transférer des documents à un inconnu. Limites proposées : l’assistant peut lire et résumer, mais pas envoyer ni transférer sans validation de la personne ; il ne peut pas joindre de fichiers ; les courriels externes sont signalés comme non fiables ; les actions sont journalisées ; on commence par un petit groupe d’utilisateurs, avec un test d’attaque encadré.