Résumé du cours d’optimisation.
L. HALPERN 13 septembre 2005

2

Table des matières
I Résultats théoriques
1 Résultats d’existence 1.1 Théorème de Weierstrass . . 1.2 Cas convexe . . . . . . . . . 1.3 Rappels de calcul différentiel 1.3.1 Dérivées premières . 1.3.2 Dérivées secondes . 1.3.3 Formules de Taylor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5
7 7 8 8 8 9 9 11 11 11 13 13 14 15 15 16

2

Caractérisation des extrema 2.1 Equation d’Euler, cas général . . . . . . 2.2 Inéquation d’Euler, cas convexe . . . . 2.3 Multiplicateurs de Lagrange, cas général 2.3.1 contraintes égalités . . . . . . . 2.3.2 contraintes inégalités . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

3

Lagrangien et point selle 3.1 Point selle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Théorie de Kuhn et Tucker . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

II Algorithmes
4 Méthodes de descente. Problèmes sans contraintes 4.1 Principe . . . . . . . . . . . . . . . . . . . . . . . 4.2 Méthode de relaxation . . . . . . . . . . . . . . . 4.3 Méthode du gradient . . . . . . . . . . . . . . . . 4.3.1 Méthode à pas variable . . . . . . . . . . . 4.3.2 Méthode à pas optimal . . . . . . . . . . . 4.4 Estimations et convergence dans le cas quadratique 4.4.1 Méthode à pas optimal . . . . . . . . . . . 4.4.2 Méthode de gradient à pas constant . . . . 4.5 Méthode du gradient conjugué . . . . . . .