Analogie entre la régression logistique et les réseaux de neurones

Le modèle de régression logistique linéaire repose sur l'hypothèse suivante :

$${\displaystyle p_i=\frac{exp(\beta_0+\beta_1x_i^1+\ldots+\beta_kx_i^k)}{1+exp(\beta_0+\beta_1x_i^1+\ldots+\beta_kx_i^k)}}$$

$x^1,\ldots,x^k$ sont les variables explicatives et $\beta=(\beta_0\ldots,\beta_k)$ est le paramètre inconnu à estimer.

L'équation ci dessous est analogue fonctionnellement à la fonction de transfert softmax dans les réseaux. (cf 5.2.3). Ainsi un réseau de neurones sans couche cachée avec des fonctions softmax, permet d'estimer cette quantité.
L'utilisation d'unité de sortie du type softmax sur un réseau peut être interprétée dans le cadre d'un modèle non linéaire de régression logistique, le réseau servant à estimer les probabilités a posteriori.
Remarquons que pour la régression logistique, l'estimation usuelle est faite par maximum de vraisemblance. Pour les réseaux à unités softmax, on estime également les poids par ce critère.