Aller au contenu
Encyclopédie informatique Édition 2026

L'apprentissage automatique

Partie 3 sur 4

Niveau de lecture :

6Évaluer un modèle

6.1La matrice de confusion

Pour un classificateur à deux classes, par exemple « fraude » ou « normal », on compte quatre situations dans une matrice de confusion : les vrais positifs, fraudes correctement détectées ; les faux positifs, transactions normales signalées à tort ; les faux négatifs, fraudes manquées ; les vrais négatifs, transactions normales correctement laissées passer.

Tableau 1. Une matrice de confusion pour 10 000 transactions, dont 100 fraudes.
Prédit : fraudePrédit : normal
Réel : fraude80 vrais positifs20 faux négatifs
Réel : normal40 faux positifs9 860 vrais négatifs

6.2Exactitude, précision, rappel

À partir de cette matrice, on calcule plusieurs indicateurs :

  • l’exactitude (en anglais accuracy), la proportion de bonnes réponses : (80 + 9 860) / 10 000 = 99,4 % ;
  • la précision, la part des alertes justifiées : 80 / (80 + 40) ≈ 66,7 %. Une alerte sur trois est une fausse alerte ;
  • le rappel, la part des fraudes détectées : 80 / (80 + 20) = 80 %. Une fraude sur cinq passe inaperçue ;
  • le score F1, qui combine précision et rappel en un seul nombre : ici environ 72,7 %.

L’exactitude est trompeuse quand une classe est rare. Un « détecteur » qui répondrait toujours « normal », sans rien analyser, aurait une exactitude de 99 %… et un rappel nul : il ne détecterait aucune fraude (exercice 3). Le choix de l’indicateur dépend du coût des erreurs : pour un dépistage médical, on privilégie le rappel, pour ne manquer aucun malade ; pour un filtre anti-spam, la précision, pour ne pas jeter de courriels légitimes. On peut d’ailleurs régler un même modèle pour favoriser l’un ou l’autre, en déplaçant le seuil à partir duquel il déclenche une alerte.

Pour s’exercer

Exercice 2 : calculer précision et rappel

Un filtre anti-spam examine 1 000 courriels, dont 200 spams. Il en classe 190 comme spams, dont 180 sont réellement des spams. Calculez la précision, le rappel et l’exactitude.

Voir la réponse

Vrais positifs : 180. Faux positifs : 190 − 180 = 10 courriels légitimes jetés à tort. Faux négatifs : 200 − 180 = 20 spams passés. Vrais négatifs : 800 − 10 = 790. Précision : 180 / 190 ≈ 94,7 %. Rappel : 180 / 200 = 90 %. Exactitude : (180 + 790) / 1 000 = 97 %. Pour un filtre anti-spam, les 10 faux positifs sont les plus gênants : un courriel important peut être perdu ; on cherchera à améliorer la précision, quitte à laisser passer un peu plus de spams.

Exercice 3 : 99 % de réussite

Un prestataire présente un modèle de détection d’intrusions « exact à 99,9 % ». Sur votre réseau, une connexion sur dix mille est malveillante. Quelles questions lui poser ?

Voir la réponse

Avec une connexion malveillante sur dix mille, un modèle qui déclarerait tout normal serait exact à 99,99 % : l’exactitude ne dit donc rien. Il faut demander le rappel, quelle part des attaques est détectée, et la précision, ou le nombre de fausses alertes par jour : sur des millions de connexions, même 0,1 % de faux positifs représente des milliers d’alertes, que personne ne pourra examiner. Il faut aussi savoir sur quelles données le modèle a été évalué, si elles ressemblent à votre réseau, et comment il se comporte face à des attaques nouvelles.

7Quelques familles de modèles

Tableau 2. Des modèles classiques et leurs usages.
ModèlePrincipeUsages typiques
Régression linéaireune droite, ou un plan, ajusté aux donnéesprévisions simples, estimation de prix
Régression logistiqueune probabilité calculée à partir d’une combinaison des caractéristiquesclassification simple et explicable, scores de risque
k plus proches voisinsprédire comme les exemples les plus ressemblantsrecommandation, classification simple
Arbre de décisionune suite de questions oui ou nondécisions explicables, règles métier
Forêt aléatoire, boostingdes centaines d’arbres combinésdonnées en tableaux : fraude, crédit, prévision ; souvent les plus performants
k-moyennesregrouper autour de k centressegmentation de clients, partitionnement
Réseaux de neuronescouches de neurones artificielsimages, son, langage, données massives

Aucun modèle n’est le meilleur partout. Pour des données en tableaux, comme les fichiers des entreprises, les forêts d’arbres et les méthodes de boosting, qui ajoutent des arbres un à un pour corriger les erreurs des précédents, restent souvent les plus efficaces. Pour les images, le son et le texte, les réseaux de neurones s’imposent. Un bon réflexe est de commencer par un modèle simple, qui sert de référence, avant d’essayer plus complexe : si un modèle sophistiqué ne fait pas mieux, il ne mérite pas sa complexité.

7.1Un arbre de décision, pas à pas

L’arbre de décision montre bien comment un algorithme « trouve » des règles. Au départ, toutes les données d’entraînement sont dans un même nœud. L’algorithme essaie toutes les questions possibles, du type « la caractéristique X est-elle inférieure à telle valeur ? », et retient celle qui sépare le mieux les classes, c’est-à-dire qui produit les deux groupes les plus homogènes. Il mesure cette homogénéité par un indicateur d’impureté : un groupe qui ne contient qu’une seule espèce d’iris est pur, un groupe mélangé ne l’est pas. Il recommence ensuite dans chacun des deux groupes, et ainsi de suite, jusqu’à ce que les groupes soient purs ou que la profondeur maximale, un hyperparamètre, soit atteinte. Pour les iris, la première question trouvée est souvent la longueur du pétale : en dessous de 2,45 cm, toutes les fleurs sont de la même espèce. Laissé sans limite, un arbre finit par créer une feuille pour chaque exemple : il sur-apprend. D’où l’intérêt de limiter sa profondeur, ou de combiner des centaines d’arbres légèrement différents dans une forêt aléatoire, dont les erreurs se compensent.

Pour s’exercer

Exercice 4 : diagnostiquer

Trois modèles obtiennent les exactitudes suivantes, sur l’entraînement puis sur la validation : A, 62 % et 60 % ; B, 99 % et 71 % ; C, 88 % et 86 %. Que diagnostiquez-vous ?

Voir la réponse

A : performances faibles partout, écart réduit : sous-apprentissage ; il faut un modèle plus riche ou de meilleures caractéristiques. B : excellent sur l’entraînement, nettement moins bon en validation : sur-apprentissage ; il faut simplifier, régulariser ou ajouter des données. C : bonnes performances, faible écart : le meilleur candidat, à confirmer sur l’ensemble de test, qu’on n’a pas encore utilisé.

Exercice 5 : trop beau pour être vrai

Un modèle prédit si un client va résilier son abonnement le mois prochain. Il atteint 99 % de rappel en test. En regardant les variables, on trouve « date d’envoi du courrier de confirmation de résiliation ». Quel est le problème ?

Voir la réponse

C’est une fuite de données : cette date n’existe que pour les clients qui ont déjà résilié, et elle n’est connue qu’après la résiliation. Le modèle a appris à reconnaître la conséquence, pas à prédire la cause. En situation réelle, au moment où l’on veut prédire, cette information n’existera pas, et le modèle sera inutile. Il faut retirer toutes les variables postérieures au moment de la prédiction et refaire l’évaluation, en construisant le test comme les conditions réelles : données connues à une date, résultat observé après.

Exercice 6 : une descente de gradient à la main

On cherche le paramètre a du modèle y = a × x qui colle aux trois points (1 ; 2), (2 ; 4) et (3 ; 6), en minimisant l’erreur quadratique moyenne. Le gradient vaut (2/3) × Σ x × (a × x − y). Partant de a = 0, avec un taux d’apprentissage de 0,05, calculez les deux premiers pas. Vers quelle valeur a converge-t-il ?

Voir la réponse

Pour a = 0 : Σ x × (0 − y) = −(1 × 2 + 2 × 4 + 3 × 6) = −28 ; gradient = (2/3) × (−28) ≈ −18,67. Nouveau a = 0 − 0,05 × (−18,67) ≈ 0,93. Deuxième pas : a × x − y = 0,93x − 2x = −1,07x, donc Σ x × (−1,07x) = −1,07 × (1 + 4 + 9) ≈ −14,93 ; gradient ≈ −9,96 ; nouveau a ≈ 0,93 + 0,50 = 1,43. Le paramètre se rapproche de 2, la valeur exacte, puisque les points vérifient y = 2x. Avec un taux d’apprentissage de 0,25, le premier pas donnerait a ≈ 4,67, bien au-delà de 2, le suivant a ≈ −1,56, et le paramètre s’éloignerait de plus en plus de la bonne valeur en oscillant : un taux trop grand fait diverger l’apprentissage.

Exercice 7 : les plus proches voisins

On veut classer un fruit de 150 g et de 7 cm de diamètre, avec la méthode des trois plus proches voisins. Les fruits connus les plus proches sont : une pomme (155 g, 7,2 cm), une orange (148 g, 7,5 cm) et une pomme (160 g, 6,8 cm). Quelle est la prédiction ? Pourquoi faut-il souvent mettre les caractéristiques à la même échelle avant de calculer les distances ?

Voir la réponse

Parmi les trois voisins, deux sont des pommes et une est une orange : le vote majoritaire prédit « pomme ». Si l’on calcule la distance sans précaution, les grammes, qui varient de plusieurs dizaines d’unités, pèsent bien plus que les centimètres, qui varient de quelques dixièmes : le diamètre est presque ignoré. On met donc d’abord chaque caractéristique à la même échelle, par exemple en la ramenant entre 0 et 1, pour que chacune compte de façon comparable. C’est l’une des opérations de préparation des données de la section 3.