Plan
Analyse Factorielle Discriminante de Fisher (AFD) Régression linéaire au sens des moindre carrées Analyse Discriminante Linéaire (ADL) Lien entre AFD, ADL et RMC
Synthèse sur AFD, ADL, RMC et RL Avantages et Inconvénients de ADL

Projection, Discrimination et Classification

Régression Logistique Massih-Réza Amini
Techniques d’Analyse de Données et Théorie de l’Information Master M2 IAD – Parcours Recherche amini@poleia.lip6.fr http://www-connex.lip6.fr/~amini Exemple d’application: la tâche de Recherche d’Information
Recherche avec un codage binaire, Vers une meilleure représentation, L’information de classe avec l’AF améliore encore la représentation

Massih-Reza.Amini@lip6.fr

Laboratoire d’Informatique de Paris 6

2

Analyse discriminante de Fisher Analyse Discriminante de Fisher (2)
Pb de dimensionnalité : beaucoup de méthodes / techniques (en classif.) sont inappropriées ou inapplicables en grande dimension
⇒

On projette sur un sous-espace
• •

Critère d’optimisation :

Perte possible d’informations Trouver la projection optimale à ce sens x2 x2

Solution vérifie :

Solution w2 w1

Massih-Reza.Amini@lip6.fr

Laboratoire d’Informatique de Paris 6

3

Massih-Reza.Amini@lip6.fr

Laboratoire d’Informatique de Paris 6

4

Interprétation géométrique
ˆ ˆ ˆ B vérifie X (Y − XB ) = X (Y − Y ) = 0 t t

Analyse Discriminante Linéaire
But : Discrimination ADL dans le cas de populations normales avec une matrice de covariance commune pour les différentes groupes

La solution de la régression

Y

x2 ˆ Y x1

Règle de décision dans le cas bi-classe p(c).p(x/c) ˆ La réponse du modèle, Y est la projection orthogonale de Y sur l’espace des données.
−1 ˆ ˆ Y = XB = X ( X t X ) X t Y

x1

Matrice de projection, vérifie la propriété d’idempotence
Massih-Reza.Amini@lip6.fr Laboratoire d’Informatique de Paris 6
5

x2

Massih-Reza.Amini@lip6.fr

Laboratoire d’Informatique de Paris 6

6