L'apprentissage automatique
Partie 4 sur 4
8Les réseaux de neurones et l’apprentissage profond
8.1Le neurone artificiel
Un neurone artificiel est une petite fonction : il reçoit plusieurs nombres, les multiplie chacun par un poids, fait la somme, ajoute un biais, puis applique une fonction d’activation, qui introduit une non-linéarité, par exemple en remplaçant les valeurs négatives par zéro. Les neurones sont organisés en couches : la sortie de chaque couche sert d’entrée à la suivante. Les poids, des millions ou des milliards, sont les paramètres du réseau.
8.2La rétropropagation
Pour entraîner un réseau, on calcule l’erreur de sa prédiction, puis on remonte le réseau, de la sortie vers l’entrée, pour calculer la contribution de chaque poids à cette erreur : c’est la rétropropagation du gradient, popularisée en 1986 par David Rumelhart, Geoffrey Hinton et Ronald Williams. Chaque poids est ensuite légèrement corrigé par descente de gradient. On répète l’opération sur des millions d’exemples, par petits lots. Ces calculs, faits de multiplications de grands tableaux de nombres, s’exécutent très efficacement sur les processeurs graphiques et les puces spécialisées (voir le processeur graphique).
8.3Des architectures spécialisées
- Les réseaux convolutifs, développés notamment par le chercheur français Yann LeCun à la fin des années 1980, appliquent les mêmes petits filtres sur toute une image pour y repérer des motifs. Dès les années 1990, ils lisaient automatiquement les montants des chèques aux États-Unis ; ils ont déclenché la révolution de 2012 en vision par ordinateur.
- Les réseaux récurrents traitaient les séquences, comme le texte ou la parole, élément par élément, en gardant une mémoire de ce qui précède.
- Les Transformers, présentés en 2017, les ont largement remplacés : grâce à un mécanisme d’attention, chaque élément d’une séquence peut tenir compte directement de tous les autres, et les calculs se parallélisent bien. Ils sont à la base des grands modèles de langage, et désormais de nombreux modèles d’images et de sons (voir l’IA générative).
8.4L’apprentissage par transfert
Entraîner un grand réseau à partir de zéro coûte cher. On part donc souvent d’un modèle déjà entraîné sur une tâche générale, par exemple la reconnaissance de milliers de catégories d’objets, et on l’affine (en anglais fine-tuning) sur quelques centaines d’exemples d’une tâche précise, comme la détection d’une maladie des feuilles de vigne. Le modèle réutilise ce qu’il a appris des formes et des textures. Cette technique, l’apprentissage par transfert, a mis l’apprentissage profond à la portée de projets modestes.
9Les outils
Le langage Python domine largement l’apprentissage automatique (voir Python). La bibliothèque scikit-learn, développée à partir de 2010 à l’INRIA (Institut national de recherche en sciences et technologies du numérique), est la référence mondiale pour les modèles classiques ; PyTorch, créé chez Meta, et TensorFlow, chez Google, servent aux réseaux de neurones. On travaille souvent dans des carnets Jupyter, qui mêlent code, résultats et graphiques. Voici un apprentissage complet en quelques lignes, sur un jeu de données célèbre : 150 iris, décrits par quatre mesures de leurs pétales et sépales, appartenant à trois espèces.
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
X, y = load_iris(return_X_y=True) # caractéristiques et étiquettes
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, random_state=0) # 30 % mis de côté pour le test
modele = DecisionTreeClassifier(max_depth=3) # hyperparamètre : profondeur
modele.fit(X_train, y_train) # entraînement
predictions = modele.predict(X_test)
print(accuracy_score(y_test, predictions)) # exactitude sur le test
Le modèle obtient en général plus de 90 % de bonnes réponses sur les fleurs qu’il n’a jamais vues. Un arbre de profondeur 3 reste lisible : on peut afficher ses questions, du type « la longueur du pétale est-elle inférieure à 2,45 cm ? ». La même démarche, chargement, séparation, entraînement, évaluation, s’applique à des problèmes bien plus complexes.
10Les données, au cœur de tout
On dit souvent qu’un modèle ne vaut que par ses données. Des données trop peu nombreuses, mal étiquetées, ou qui ne représentent pas la population réelle produisent des modèles faux ou biaisés (voir l’intelligence artificielle). L’étiquetage lui-même est un travail considérable, souvent confié à des travailleurs mal payés à l’autre bout du monde, ce qui pose des questions éthiques.
Quand les données sont personnelles, le RGPD s’applique : il faut une base légale pour les utiliser, n’utiliser que les données nécessaires, informer les personnes, et pouvoir répondre à leurs demandes, ce qui est délicat quand leurs données ont servi à entraîner un modèle (voir le RGPD). Des techniques permettent de limiter les risques : anonymisation, données synthétiques, apprentissage fédéré, où le modèle s’entraîne sur les appareils des utilisateurs sans que leurs données ne les quittent, comme pour la prédiction des mots du clavier des téléphones.
Enfin, l’entraînement a un coût matériel. Un modèle classique s’entraîne en quelques secondes sur un ordinateur portable ; un grand réseau de neurones peut mobiliser des milliers de processeurs spécialisés pendant des semaines, avec une consommation d’électricité comparable à celle d’une petite ville. Choisir le modèle le plus simple qui répond au besoin est donc aussi un choix de sobriété (voir le numérique responsable).