Reconnaissance faciale, traduction automatique, recherche de tumeurs : autant d’avancées rendues possibles grâce aux réseaux d’apprentissage artificiel, pour lesquels John Hopfield et Geoffrey Hinton ont reçu début octobre le prix Nobel de physique 2024. Grâce à leur travail pionnier, l’ordinateur n’applique plus simplement une série d’instructions, il
apprend « par l’exemple ».
La mémoire associative de Hopfield
Le principe du « machine learning » s’inspire du fonctionnement du cerveau humain, et plus particulièrement des réseaux de neurones. Chez l’humain, l’apprentissage renforce les connexions entre certains neurones et affaiblit celles des autres. Qui dessine par exemple une sorte de carte des connexions pour une image donnée. Le physicien John Hopfield a transposé cette opération en 1982 à un réseau artificiel portant son nom.
En cela, le réseau fonctionne « avec un comportement qui va naturellement vers le minimum d’énergie », explique Damien Querlioz, chercheur CNRS spécialisé dans les systèmes de traitement de l’information au Centre des nanosciences et nanotechnologies.
Hopfield a comparé le stockage d’un motif dans la mémoire réseau au trajet le plus économe en énergie d’une bille roulant à travers un paysage de pics et de vallées. Lorsque le réseau traite un motif proche du motif enregistré, le parcours de la balle s’effectuera avec une dépense d’énergie du même ordre, la conduisant au même endroit.
«En utilisant des techniques de physique statistique, il a montré comment un algorithme simple pouvait stocker en mémoire certains modèles, qui pourraient être retrouvés plus tard», explique Francis Bach, directeur du laboratoire d’apprentissage statistique SIERRA à l’École. normale supérieure à Paris.
L’apprentissage profond de Hinton
Geoffrey Hinton a construit son œuvre sur les fondations posées par Hopfield. «Il a montré qu’on peut apprendre efficacement quand on dispose de réseaux de neurones à plusieurs couches», explique Francis Bach. En d’autres termes : « Plus il y a de couches, plus le comportement peut être complexe, et plus le comportement peut être complexe, plus il est facile d’apprendre efficacement un comportement souhaité. »
Depuis les années 1980, le chercheur ne cesse de « proposer de nouveaux algorithmes d’apprentissage pour apprendre des comportements de plus en plus complexes », ajoute-t-il. Dès la fin des années 1980, des chercheurs comme le Français Yann Le Cun vont travailler « sur la reconnaissance de caractères, plus simple que les images naturelles », dit-il.
Données et puissance de calcul
La discipline connaît alors un relatif désintérêt, jusque dans les années 2010. Pour que leurs découvertes fonctionnent, il fallait de la puissance de calcul, avec des ordinateurs bien plus puissants, et surtout d’énormes quantités de données, qui sont « des ingrédients indispensables aux réseaux de neurones », explique M. Querlioz.
Les machines ne peuvent bien apprendre qu’en ingérant autant « d’exemples d’intelligence que nous le souhaitons ».
Le comité Nobel rappelle que, dans son article publié en 1982, Hopfield utilisait un réseau très simple avec « moins de 500 paramètres à surveiller », alors que les modèles linguistiques géants actuels en contiennent « un billion ».
A quoi ça sert ?
La grande vague du deep learning des années 2010 a « révolutionné tout ce qui touche au traitement des images et au traitement du langage naturel », note Francis Bach.
Damien Querlioz cite « les assistants vocaux, la reconnaissance faciale » ou les logiciels de création d’images comme DALL-E.
Mais ces avancées vont bien au-delà de ce que perçoit le grand public. « Ce qui permet de distinguer ses enfants sur le logiciel de son téléphone permet aussi de reconnaître une tumeur », note Francis Bach.
Il permet également d’analyser et de classer les quantités phénoménales de données enregistrées dans les instituts de recherche en physique fondamentale ou encore de trier les images et spectres collectés en observation des étoiles.
Pierre CÉLERIER et
Benoît KING/AFP
Reconnaissance faciale, traduction automatique, recherche de tumeurs : autant d’avancées rendues possibles grâce aux réseaux d’apprentissage artificiel, pour lesquels John Hopfield et Geoffrey Hinton ont reçu début octobre le prix Nobel de physique 2024. Grâce à leur travail de pionnier, l’ordinateur ne se contente plus d’appliquer une série d’instructions, il apprend…
