Comment choisir la méthode
d'optimisation?

CALIS propose plusieurs méthodes d'optimisation pour minimiser la fonction F :

• Levenberg Marquardt. Elle est fiable et converge généralement après quelques itérations vers une solution précise. Elle nécessite le calcul approché de la matrice hessienne à chaque itération. Elle est plus fiable quand il y a peu de valeurs initiales. Elle fonctionne bien avec des contraintes.
• Ridge Stabilized Newton Raphson. Elle est fiable et converge généralement après quelques itérations vers une solution précise. Elle nécessite le calcul approché de la matrice hessienne à chaque itération. Elle fonctionne bien avec des contraintes.
• Quasi Newton avec plusieurs algorithmes de mise à jour. Elle peut être beaucoup plus efficace pour de longs problèmes en particulier avec la mise à jour BFGS.
• Gradient conjugué avec plusieurs algorithmes de mise à jour. Elle est utile si l'on a des problèmes de mémoire mais est généralement plus lente et moins fiable.

On précise la technique d'optimisation par OMETHOD=nom placé après PROC CALIS. Les valeurs possibles de "nom" sont :

• CONGRA ou CG choisit un des quatre algorithmes d'optimisation de la méthode du gradient conjugué; l'algorithme peut être précisé par UPDATE=option et modifié par SMETHOD=option.
• LEVMAR ou LM ou MARQUARDT précise la méthode de Levenberg Marquardt.
• NEWRAP ou NR ou NEWTON désigne la méthode de Newton Raphson.
• NONE ne fait appel à aucune méthode d'optimisation.
• QUANEW ou QN choisit un des quatre algorithmes de la méthode de Quasi Newton qui peut être défini avec UPDATE=option et modifié avec SMETHOD=option.

Si aucune méthode n'est précisée, par défaut OMETHOD=LEVMAR.

Il y a plusieurs options pour contrôler le processus d'optimisation. Ces options sont placées après PROC CALIS séparées par des espaces.

• FCONV=p ou FTOL=p précise le critère de convergence. Le processus d'optimisation est terminé quand la différence relative des valeurs prises par la fonction lors de deux itérations consécutives est plus petite que p, c'est-à-dire (F_i-1 - F_i) < p(1.0 + |F_i|) . Si FCONV n'est pas précisé, la valeur de FCONV est le plus petit réel qui peut être représenté sur l'ordinateur.
• GCONV=p ou GTOL=p précise le critère de convergence du gradient. Le processus d'optimisation se termine lorsque la plus grande valeur absolue parmi les valeurs absolues des composantes du gradient est plus petite que la valeur de p. Si GCONV n'est pas précisé, GCONV=10^-3. En général, cette valeur donne des estimations fiables. Pour obtenir des estimations de paramètres plus précises, on choisit une plus petite valeur de p comme 10^-4 ou 10^-6. Mais le temps de calcul sera alors augmenté, en particulier avec les techniques plus lentes CONGRA et QUANEW. De très petites valeurs de p peuvent ne pas être satisfaites.
• MAXFUNC=n ou MAXFU=n spécifie le nombre maximum d'appels de la fonction dans le processus d'optimisation. Si MAXFU n'est pas précisé, par défaut, pour OMETHOD=LEVMAR et NEWRAP n=125, pour
  OMETHOD=QUANEW n=500, pour OMETHOD=CONGRA n=1000. S'il est spécifié MAXFUNC=0, ceci n'est pas pris en compte et les valeurs ci-dessus sont assignées.
• MAXITER=n précise le nombre maximum d'itérations dans le processus d'optimisation. Par défaut, pour
  OMETHOD=LEVMAR et NEWRAP n=50, pour OMETHOD=QUANEW n=200, pour OMETHOD=CONGRA n=400. MAXITER=0 n'est pas considéré, les valeurs par défaut sont alors assignées.
• RADIUS=p précise un facteur p>0 pour le rayon initial de la région de confiance dans la minimisation de Levenberg Marquardt. Par défaut, p=1. Dans la plupart des applications de l'algorithme de Levenberg Marquardt, ce choix est bon.
• SALPHA=p précise une borne supérieure pour le pas initial pour la recherche linéaire dans les cinq premières itérations. Par défaut p=1.
• SMETHOD=1, 2 ou 3 précise la méthode de recherche linéaire pour les techniques de Quasi Newton et du gradient conjugué. Par défaut SMETHOD=2.
  1 spécifie une recherche linéaire qui nécessite le même nombre d'appels de la fonction et du gradient pour une interpolation cubique et une extrapolation cubique. La méthode ne peut être modifiée pour une recherche linéaire exacte en utilisant SPRECISION=option.
  2 spécifie une recherche linéaire qui nécessite plus d'appels de la fonction que du gradient pour une interpolation cubique et quadratique et une extrapolation cubique. La méthode peut être modifiée pour une recherche linéaire exacte en utilisant SPRECISION=option. Cette méthode de recherche linéaire semble être meilleure car il est moins coûteux d'évaluer la fonction que le gradient.
  3 spécifie une méthode de recherche linéaire qui nécessite le même nombre d'appels de la fonction et du gradient pour une interpolation cubique et une extrapolation cubique. La méthode peut être modifiée pour une recherche linéaire exacte en utilisant SPRECISION=option.
• SPRECISION=p ou SP=p spécifie le degré d'exactitude dans la recherche linéaire. Les seconde et troisième méthodes de recherche linéaire approchent une recherche linéaire exacte pour de petites valeurs de SPRECISION. Par défaut, pour OMETHOD=QUANEW, UPDATE=BFGS et DBFGS p=0.4, pour OMETHOD=QUANEW, UPDATE=DFP et DDFP p=0.06, pour OMETHOD=CONGRA p=0.1.
• UDATE=nom précise la méthode de mise à jour pour la méthode de Quasi Newton ou du gradient conjugué.
  • Pour OMETHOD=QUANEW seules les quatres valeurs suivantes de UPDATE sont possibles : BFGS, DBFGS, DDFP et DFP. Par défaut, UPDATE=BFGS.
  • Pour OMETHOD=CONGRA seules les quatre valeurs suivantes de UPDATE sont possibles : CD, FR, PB et PR. Par défaut, UPDATE=PB.
  On ne peut pas utiliser UPDATE si OMETHOD=QUANEW ou
  OMETHOD=CONGRA n'est pas précisé.

L'historique de l'optimisation comprend

• le nombre d'itérations (iter)
• le nombre d'appels de la fonction (nfun)
• le nombre de contraintes actives (act)
• la valeur du critère d'optimisation (crit)
• le maximum des valeurs absolues des composantes du gradient correspondant aux contraintes inactives (maxgrad)
• la différence entre deux valeurs adjacentes de la fonction (difcrit).