Algorithme du gradient

. . . . . II Algorithmes 4 Méthodes de descente. Problèmes sans contraintes 4.1 Principe . . . . . . . . . . . . . . . . . . . . . . . 4.2 Méthode de relaxation . . . . . . . . . . . . . . . 4.3 Méthode du gradient . . . . . . . . . . . . . . . . 4.3.1 Méthode à pas variable . . . . . . . . . . . 4.3.2 Méthode à pas optimal . . . . . . . . . . . 4.4 Estimations et convergence dans le cas quadratique 4.4.1 Méthode à pas optimal . . . . . . . . . . . 4.4.2 Méthode de gradient à pas constant .

Algorithmes de minimisation Sébastien Charnoz & Adrian Daerr Université Paris 7 Denis Diderot CEA Saclay De nombreux problèmes nécessitent de minimiser une fonction : -Minimiser la distance (XHI2) entre des points de mesures et une courbe - Trouver l’ état d’équilibre d’un système mécanique (Minimiser Epot) - Trouver l’état d’équilibre d’un gaz, d’un mélange (Maximiser Entropie) - Tous problèmes d’optimisation (minimiser le coût , certaine fonctions etc…) Etc…. Tous ces problèmes

variées ont été proposées pour s’attaquer à des problèmes comportant des fonctions objectifs et des contraintes essentiellement non linéaires. But du projet Il s’agira d’étudier un certain nombre de méthodes classiques basées notamment sur les gradients des fonctions à optimiser ; ces techniques seront analysées du point de vue de leur convergence et le candidat aura pour tâche de les mettre en oeuvre en les programmant, de les comparer et d’élaborer un outil graphique permettant d’illustrer le

manuscrites dans les marges, sans doute pour qu'on ne puisse pas les accuser de camoufler la première version du texte ! • l'algorithme de rétropropagation du gradient dans les réseaux multi-couches découvert au début des années 80 par Rumelhart et McClelland, Parker, Hinton, Le Cun. Les > sont nombreux car l'idée de descente de gradient est naturelle. La plupart de ces travaux étaient associés à des études empiriques montrant la puissance du modèle. • le modèle de Hopfield (1982) qui utilise des

pour améliorer les algorithmes de classification pour augmenter le taux de classification Dans cette étude nous avons proposé un algorithme capable de différencier entre un cercle, un rectangle et un triangle basé sur le réseau de neurone multicouche afin d’avoir un taux de classification important, nous avons utilisé des approches géométriques et spatiaux pour extraire les paramètres pertinents. Mots-clés : compacité, asymétrie, réseau de neurone, rétro-propagation de gradient. 1. Introduction :

morphologique  :  gradient   §  Le  gradient  morphologique  est  obtenu  par   différence  entre  une  ouverture  et  une  fermeture.     Morph  grad(src,  elem)=dilate(src,elem)-­‐erode(src,elem)   Gradient  morphologique   §  Peut  être  utilisé  sur  les  images  en  niveau  de   gris  pour  extraire  les  contours   Exercice  4   §  A  vous  de  jouer  !   §  Testez  le  gradient  morphologique

d’apprentissage Apprentissage supervisé     Réseaux de neurones Machines à noyaux, machines à vecteurs de support Réseaux de neurones profonds et apprentissage de représentations Réseaux récurrents Apprentissage non supervisé       Algorithme EM et mélange de densités Clustering spectral Factorisation matricielle Quelques liens utiles  2 Apprentissage Statistique - P. Gallinari Introduction Apprentissage à partir d'exemples 3 ingrédients de base     Données {z1, ...

January 11, 2011 Contents 1 Rappels de la partie I 2 Resolution du systeme lineaire 2.1 Methode de relaxation . . . . . . . . . . . . 2.2 Methodes de descente . . . . . . . . . . . . 2.2.1 Methode du gradient a pas constant 2.2.2 Methode du gradient a pas optimal . 2.2.3 Methode du gradient conjugue . . . 3 Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 1 1 3 5 6 1 2 2.1 Rappels de la partie I Resolution

: convergence en 1/T , voire 1/T 2 ▶ ∀x , x ′ ∈ Rd , ∥∇f (x)−∇f (x ′)∥ ⩽ β ∥x − x ′∥ xt+1 = xt − 1 β ∇f (xt) =⇒ f (xt+1)− f (xt) ⩽ − 1 2β ∥∇f (xt)∥2 T∑ t=1 f (xt)− T f (x∗) ⩽ β ∥x1 − x∗∥2 2 + f (x1)− f (xT+1) Théorème (Nesterov 83) Il existe un algorithme de premier ordre tel que f (xT+1)− f (x∗) ⩽ 2β ∥x1 − x∗∥2 T 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Cas smooth : convergence en 1/T , voire 1/T 2 ▶ ∀x , x ′ ∈ Rd , ∥∇f (x)−∇f (x ′)∥ ⩽ β ∥x − x ′∥ xt+1 = xt

manière différente selon les type de neurone utilisé. Le seuil d’activation d’un neurone peut également être considéré comme un intrant fixe de valeur –1 et de seuil θ. Cette manière de procéder permet d’inclure la modification du seuil dans un algorithme d’entraînement, augmentant ainsi l’apprentissage du réseau. Cependant, cette modification n’est correcte que lorsque la fonction d’activation s’effectue sur l’intrant net auquel on soustrait le seuil ( f(X – θ)). Par exemple, dans le cas d’un