Réseau de neurones sans couches cachée et à fonction softmax

Dans notre cas, on réalise le réseau avec le logiciel Splus.
On effectue le programme suivant :

> filiere_as.factor(table3[,3])
> sexe_as.factor(table3[,2]) 
> vexp6_cbind(sexe,table3[,4:8])

> resb_nnet(vexp6,filiere,size=0,decay=0,softmax=T,skip=T,maxit=100)
# weights:  7
initial  value 0.000000 
final  value 0.000000 
converged

>summary(resb)
a 6-0-1 network with 7 weights
options were - skip-layer connections  linear output units  softmax modelling 
  0->7  1->7  2->7  3->7  4->7  5->7  6->7 
 -0.64  0.43 -0.28  0.17  0.19 -0.09  0.04

Pour le réseau, on utilise donc la fonction softmax. On obtient comme résultats :
$\cdot$ l'algorithme converge vers la valeur 0 qui correspond à la valeur minimale de l'erreur quadratique.
$\cdot$ la commande ``summary'' nous fournit l'estimation du paramètre $\beta$. on voit que ces résultats sont différents de ceux fournis par la régression logistique!!! Ce qui est en contradiction avec le résultat énoncé au paragraphe 6.4.1.

Changeons la valeur du paramètre decay. Prenons decay=0.01 par exemple.

> resh_nnet(vexp6,filiere,size=0,decay=0.01,softmax=T,skip=T,maxit=100)
# weights:  7
initial  value 0.012719 
final  value 0.012216 
converged

> summary(resh)
a 6-0-1 network with 7 weights
options were - skip-layer connections  linear output units  softmax modelling
decay=0.01
  0->7  1->7  2->7  3->7  4->7  5->7  6->7 
  0.00 -0.01  0.00  0.00  0.01  0.01 -0.01

On voit que les estimations des paramètres varient énormément en fonction de la valeur du paramètre decay. Plusieurs essais ont été effectués mais aucun n'a pu vraiment approché les résultats fournis par la régression logistique.

Nous allons maintenant supprimer les variables SC2 et SC5 et recomparer le nouveau réseau à la régression logistique avec uniquement les variables sexe, SC1, SC3 et SC4. On obtient ainsi les résultats suivants (fournis pour la valeur du paramètre decay=0.01) :

 
> vexp8_cbind(table3[,2],table3[,4:4],table3[,6:7])

> resi_nnet(vexp8,table3[,3],size=0,decay=0.01,softmax=T,skip=T,maxit=100)  
# weights:  5
initial  value 0.005569 
final  value 0.005349 
converged

> summary(resi)
a 4-0-1 network with 5 weights
options were-skip-layer connections linear output units softmax modelling 
decay=0.01
  0->5  1->5  2->5  3->5  4->5 
  0.01 -0.01  0.00 -0.01  0.01

On voit que l'on n'a toujours pas les mêmes résultats que la régression logistique.