cours optimisation

Pages: 12 (2982 mots) Publié le: 29 août 2014
Cours optimisation

On appelle problème d’optimisation la donnée d’une instance de la forme
minimiser/maximiser f (x)
sous les conditions

gi (x) ≤ 0 ∀i ∈ {1, . . . , m}
hj (x) = 0 ∀j ∈ {1, . . . , m }

avec f : Rp → R une fonction objectif et gi , hj : Rp → R des fonctions de contraintes.
L’ensemble des points
{x ∈ Rp | gi (x) ≤ 0 ∀i ∈ {1, . . . , m}, hj (x) = 0 ∀j ∈ {1, . . . , m }}est appelé ensemble de candidats. S’il est non vide, on appelle solution du problème d’optimisation
tout minimum/maximum global de la fonction f restreinte à cet ensemble de candidats, noté x∗ .
Dans ce cours, on étudie uniquement les problèmes de minimisation sans contraintes, c’est-à-dire
avec m = m = 0. Ainsi, l’ensemble des candidats correspond à l’espace Rp tout entier. Remarquons
qu’unproblème de maximisation max f (x) peut naturellement se transformer en un problème de minimisation min −f (x).
Pourquoi s’intéresser à ces problèmes d’optimisation ? Mettons-nous un instant dans la situation
où l’on souhaite apprendre des données :
Données :
But :

(xi , yi ) ∈ Rn × R, i ∈ {1, . . . , N }
trouver un « modèle » y = f (x) susceptible d’avoir généré les données

(1)

dansle but de pouvoir ensuite prédire au mieux le comportement sur une nouvelle donnée brute x ∈ Rn .
Un expert, sachant d’où sont extraites les données, choisit alors une catégorie de modèles potentiels,
à savoir une famille (fθ )θ∈Rp de fonctions Rn → R régie par des paramètres θ ∈ Rp . Notre objectif est
alors de trouver le meilleur paramètre θ, par exemple en minimisant la fonction d’erreurdes sommes
de carrés, c’est-à-dire de résoudre le problème d’optimisation :
minimiser

1
2

N

|fθ (xi ) − yi |2 pour θ ∈ Rp .
i=1

Avant de détailler les outils qui vont nous permettre de résoudre ces problèmes d’optimisation,
notons qu’il est possible de restreindre nos attentes en cherchant un optimum local (et non global
comme précédemment), c’est-à-dire chercher une valeur x∗ quioptimise la fonction f sur un voisinage
de x∗ et non sur l’espace tout entier. Dans ce cas, on peut utiliser des méthodes de descente (si la
fonction objectif est différentiable), par exemple basée sur le gradient, que nous développerons en
Section 2, ou des méthodes telles que la méthode du simplexe (si la fonction objectif est linéaire) ou
de recherches de motifs (si la fonction objectifn’est pas différentiable). À noter que dans le cas d’une
fonction objectif prenant des valeurs discrètes, les méthodes sont tout à fait différentes et constituent
le domaine de l’optimisation combinatoire. Dans le cas des optima globaux, il est souvent nécessaire
d’introduire du non-déterminisme pour s’échapper des optima locaux, à moins bien sûr de vouloir
payer le prix d’une recherche exhaustive. Ànoter que le cas convexe que nous allons développer permet
d’assurer que le minimum local trouvé est en fait un minimum global : on trouvera de plus amples
détails sur l’optimisation convexe dans [1].
1

1

Outils mathématiques et conditions d’optimalité

Afin de développer les méthodes d’optimisation, il est nécessaire de connaître un minimum d’outils
mathématiques relatifs au calculdifférentiel. Pour de plus amples informations ou exercices, on se
reportera par exemple à [2].

1.1

Différentielle et gradient

On se place dans des espaces vectoriels normés de dimension finie : on notera toujours · la
norme, indépendamment de l’espace utilisé. Dans l’espace Rn , on note (e1 , . . . , en ) la base canonique et
on identifie le plus souvent une application linéaire et sa matricedans la base canonique. Par ailleurs,
on notera AT la transposée d’une matrice A. L’espace Rn est naturellement muni d’un produit scalaire
canonique, noté ·, · , et défini pour deux vecteurs x, y ∈ Rn par x, y = xT y.
Définition 1 (différentielle). Soient U un ouvert de Rn et a ∈ U . Une fonction f : U → Rp est dite
différentiable en a s’il existe une application linéaire continue L : Rn →...
Lire le document complet

Veuillez vous inscrire pour avoir accès au document.

Vous pouvez également trouver ces documents utiles

  • Optimisation
  • Optimisation
  • Optimisation
  • Optimisation
  • Optimisation
  • optimisation
  • Optimisation
  • optimisation

Devenez membre d'Etudier

Inscrivez-vous
c'est gratuit !