Informatique

Disponible uniquement sur Etudier
  • Pages : 11 (2749 mots )
  • Téléchargement(s) : 0
  • Publié le : 27 mars 2011
Lire le document complet
Aperçu du document
LES RÉSEAUX NEURONAUX:
7) MÉMOIRES ASSOCIATIVES
         Ce chapitre s'inspire de [Abdi 1994]
7-1 Les mémoires
         Dans les ordinateurs traditionnels les informations sont stockées dans des mémoires adressables: Une information est connue par son adresse et si celle-ci est perdue son contenu aussi et il n'y a aucun moyen de le retrouver.
         Le concept de mémoire associativeest très différent: Une information peut être retrouvée si on fournit un pattern lui ressemblant (soit une partie de l'information, soit l'information bruitée). Plus généralement il s'agit d'associer un stimulus en entrée à une réponse en sortie (comme le fait le perceptron).
         On distinguera les mémoires "hétéro-associatives et les mémoires auto-asociatives. Les premières, tout comme leperceptron (voir chapitre 4), ne comportent que deux couches: Une couche d'entrée et une couche de sortie reliées par des connexions de poids modifiables lors d'un apprentissage. Les deuxièmes ne comportent qu'une seule couche, tous les neurones étant reliés entre eux. À la différence du perceptron qui est constitué de cellules binaires (réponse 0 ou 1), les mémoires associatives ont des sortiescontinues.
7-2 Mémoires hétéro-associatives linéaires
7-2-1 Définitions
         Les neurones d'une mémoires associatives linéaires ont une réponse proportionnelle à leur activation:

Avec:
         aj = activation de la cellule de sortie numéro j.
         oj = réponse de cette cellule.
         xi = sortie de la cellule numéro i de la rétine.
         wi,j = poids de la connexioni -> j.
         c = constante (généralement comprise entre 0 et 1).
         On utilisera des notations matricielles:
         W = [wi,j] = matrice d'ordre I * J des poids des connexions i -> j reliant les cellules de la rétine aux cellules de sortie.
         X = [xi,k] = matrice d'ordre I * K des K stimuli, xk correspondant à la colonne numéro k de X. Les vecteurs sont supposésnormalisés:
         ||xk|| = 1
         A = [aj,k] = matrice d'ordre J * K des activations des J cellules de sortie pour les K stimuli. L'activation de l'ensemble du réseau pour le stimulus numéro k est donnée par le vecteur ak (colonne numéro k de A).
         O = [oj,k] = matrice d'ordre J * K des réponses des J cellules de sortie pour les K stimuli. La réponse de l'ensemble du réseau pourle stimulus k est donnée par le vecteur ok (colonne numéro k de O).
         T = [tj,k] = matrice d'ordre J * K des réponses théoriques (souhaitées) des cellules de sortie pour les K stimuli. La réponse théorique de l'ensemble du réseau pour le stimulus numéro k est donnée par le vecteur tk (colonne numéro k de T).
         La mémoire hétéreo-associative linéaire définie par ce réseau devraassocier un état J de la sortie à un état I de la rétine, ce qui revient à trouver la matrice W des poids telle que:
         tk = ok = WT * xk quel que soit k.

Figure 7-1

7-2-2 Règle de Hebb
7-2-2-1 Cas d'un seul stimulus
         Les poids sont donnés par:
         wi,j = c * (tj * xi)  (1)
         Posons c = 1, on obtient la règle de Hebb selon laquelle si un axone de lacellule A participe à l'excitation de la cellule B de façon répétitive ou persistante, alors l'efficacite de la cellule A pour exciter B est accrue. C'est à dire que le poids wi,j de la connexion i -> j est proportionnelle au produit du stimulus xi et de la réponse théorique tj:
         En effet, en posant W = |W1 W2 ...|, on a, en appliquant la formule (1) pour le stimulus 1:

         ou plusgénéralement: W1T = t1 * xiT
         o1 = W1T * x1 = t1 * x1T * x1
         Mais x1T * x1 = 1 d'ou
         o1 = t1
7-2-2-2 Cas de plusieurs stimuli
         Généralisons la formule précédente pour plusieurs stimuli:

         Si les stimuli en entrée sont deux à deux orthogonaux, le mémoire hétéro-associative linéaire permet d'associer parfaitement les stimuli en entrée aux...
tracking img