Le perceptron multicouches

Le perceptron multicouches est un réseau comportant L couches, chaque neurone d'une couche étant totalement connecté aux neurones de la couche suivante.
On suppose que la rétine comporte un neurone particulier dont la sortie, constante et égale à 1, est reliée à une entrée de tous les neurones des couches supérieures (les poids de connexions issues de ce neurone d'entrée particulier joueront le rôle de seuils pour les automates receveurs). Chaque neurone k est un automate linéaire généralisé dont la fonction de transfert f_k est supposée sigmoïdale.
L'algorithme d'apprentissage par rétro-propagation du gradient de l'erreur est un algorithme itératif qui a pour objectif de trouver le poids des connexions minimisant l'erreur quadratique moyenne commise par le réseau sur l'ensemble d'apprentissage. Cette minimisation par une méthode du gradient conduit à l'algorithme d'apprentissage de rétro-propagation (Lippmann, 1987).
Cet algorithme, qui présente l'avantage d'exister, reste discutable dans la mesure où sa convergence n'est pas prouvée. Son utilisation peut conduire à des blocages dans un minimum local de la surface d'erreur. Son efficacité dépend, en effet, d'un grand nombre de paramètres que doit fixer l'utilisateur : le pas du gradient, les paramètres des fonctions sigmoïdes des automates, l'architecture du réseau ; nombre de couches, nombre de neurones par couche ..., l'initialisation des poids ...