Cours optimisation

On appelle problème d’optimisation la donnée d’une instance de la forme minimiser/maximiser f (x) sous les conditions

gi (x) ≤ 0 ∀i ∈ {1, . . . , m} hj (x) = 0 ∀j ∈ {1, . . . , m }

avec f : Rp → R une fonction objectif et gi , hj : Rp → R des fonctions de contraintes.
L’ensemble des points
{x ∈ Rp | gi (x) ≤ 0 ∀i ∈ {1, . . . , m}, hj (x) = 0 ∀j ∈ {1, . . . , m }} est appelé ensemble de candidats. S’il est non vide, on appelle solution du problème d’optimisation tout minimum/maximum global de la fonction f restreinte à cet ensemble de candidats, noté x∗ .
Dans ce cours, on étudie uniquement les problèmes de minimisation sans contraintes, c’est-à-dire avec m = m = 0. Ainsi, l’ensemble des candidats correspond à l’espace Rp tout entier. Remarquons qu’un problème de maximisation max f (x) peut naturellement se transformer en un problème de minimisation min −f (x).
Pourquoi s’intéresser à ces problèmes d’optimisation ? Mettons-nous un instant dans la situation où l’on souhaite apprendre des données :
Données :
But :

(xi , yi ) ∈ Rn × R, i ∈ {1, . . . , N } trouver un « modèle » y = f (x) susceptible d’avoir généré les données

(1)

dans le but de pouvoir ensuite prédire au mieux le comportement sur une nouvelle donnée brute x ∈ Rn .
Un expert, sachant d’où sont extraites les données, choisit alors une catégorie de modèles potentiels, à savoir une famille (fθ )θ∈Rp de fonctions Rn → R régie par des paramètres θ ∈ Rp . Notre objectif est alors de trouver le meilleur paramètre θ, par exemple en minimisant la fonction d’erreur des sommes de carrés, c’est-à-dire de résoudre le problème d’optimisation : minimiser 1
2

N

|fθ (xi ) − yi |2 pour θ ∈ Rp . i=1 Avant de détailler les outils qui vont nous permettre de résoudre ces problèmes d’optimisation, notons qu’il est possible de restreindre nos attentes en cherchant un optimum local (et non global comme précédemment), c’est-à-dire chercher une valeur x∗ qui