Modèle matrice adl

Pages: 6 (1468 mots) Publié le: 2 avril 2013
Plan
Analyse Factorielle Discriminante de Fisher (AFD) Régression linéaire au sens des moindre carrées Analyse Discriminante Linéaire (ADL) Lien entre AFD, ADL et RMC
Synthèse sur AFD, ADL, RMC et RL Avantages et Inconvénients de ADL

Projection, Discrimination et Classification

Régression Logistique Massih-Réza Amini
Techniques d’Analyse de Données et Théorie de l’Information Master M2IAD – Parcours Recherche amini@poleia.lip6.fr
http://www-connex.lip6.fr/~amini

Exemple d’application: la tâche de Recherche d’Information
Recherche avec un codage binaire, Vers une meilleure représentation, L’information de classe avec l’AF améliore encore la représentation

Massih-Reza.Amini@lip6.fr

Laboratoire d’Informatique de Paris 6

2

Analyse discriminante de Fisher AnalyseDiscriminante de Fisher (2)
Pb de dimensionnalité : beaucoup de méthodes / techniques (en classif.) sont inappropriées ou inapplicables en grande dimension


On projette sur un sous-espace
• •

Critère d’optimisation :

Perte possible d’informations Trouver la projection optimale à ce sens
x2 x2

Solution vérifie :

Solution
w2 w1

Massih-Reza.Amini@lip6.fr

Laboratoired’Informatique de Paris 6

3

Massih-Reza.Amini@lip6.fr

Laboratoire d’Informatique de Paris 6

4

Interprétation géométrique
ˆ ˆ ˆ B vérifie X (Y − XB ) = X (Y − Y ) = 0
t t

Analyse Discriminante Linéaire
But : Discrimination ADL dans le cas de populations normales avec une matrice de covariance commune pour les différentes groupes

La solution de la régression

Y

x2 ˆ Y x1

Règlede décision dans le cas bi-classe
p(c).p(x/c)

ˆ La réponse du modèle, Y est la projection orthogonale de Y sur l’espace des données.
−1 ˆ ˆ Y = XB = X ( X t X ) X t Y

x1

Matrice de projection, vérifie la propriété d’idempotence
Massih-Reza.Amini@lip6.fr Laboratoire d’Informatique de Paris 6
5

x2

Massih-Reza.Amini@lip6.fr

Laboratoire d’Informatique de Paris 6

6

Estimationdes paramètres du modèle linéaire
On suppose que chaque exemple xi appartient à une et une seule classe.

Lien entre AF, ADL et RMC

Critère d’optimisation : logarithme de la vraisemblance complète des données (ou la vraisemblance classifiante)

x2

x2

y x2

Dans le cas normal les paramètres du modèle qui maximise ce critère sont
β2 β1 β2

x t.β + 2 β = O 0

β2
x.
t

β2= +γ O 0

x1 Analyse Factorielle Discriminante Projection Massih-Reza.Amini@lip6.fr Laboratoire d’Informatique de Paris 6
7

x1 Analyse Linéaire Discriminante Discrimination Laboratoire d’Informatique de Paris 6

x1 Régression Linéaire au Moindre Carrées Classification
8

Massih-Reza.Amini@lip6.fr

Lien entre AF, ADL et RMC
AFD ∝ RMC Si n1 et n2 sont les cardinaux des 2 classes etque les désirées sont codées par (-1)kn /nk pour, k∈{1,2} Les paramètres β qui minimise EMC satisfont l’équation
n1n2 ⎤ ⎡ −1 ⎢ SW + n S B ⎥.β = n(m2 − m1 ) ⇒ β ∝ SW (m2 − m1 ) ⎣ ⎦

AF, LDA et LSR sur un exemple jouet
AF, ADL et RMC

RMC

μ1

β μ2
ADL

ADL ∝ RMC On remplace le problème d’inégalités dans le cas ADL
AF

Par un problème d’égalités dans le cas RMC

RMC

ADLMassih-Reza.Amini@lip6.fr

Laboratoire d’Informatique de Paris 6

9

Massih-Reza.Amini@lip6.fr

Laboratoire d’Informatique de Paris 6

10

Régression Logistique
On modélise le logarithme du rapport des densités conditionnelles de classes par des fonctions linéaires. Pour le cas bi-classes :

Régression Logistique (2)
Critère d’optimisation équivalente (cas bi-classe)

Les dérivéespartielles d’ordre 1 et 2 de L′c en fonction de Β sont :

Propriétés Les probabilités a posteriori ont une forme simple (logistique)

Une grande variété de familles de distributions vérifient l’hypothèse de départ.
Critère d’optimisation : vraisemblance classifiante Solution par approximation numérique et pas de solution exacte
Massih-Reza.Amini@lip6.fr Laboratoire d’Informatique de Paris 6...
Lire le document complet

Veuillez vous inscrire pour avoir accès au document.

Vous pouvez également trouver ces documents utiles

  • Matrice adl
  • La matrice adl
  • la matrice ADL
  • Le modele adl
  • Matrice adl mc kinsey
  • Matrice adl mc kinsey
  • Matrice mckinsey et adl
  • Les matrices bcg et adl

Devenez membre d'Etudier

Inscrivez-vous
c'est gratuit !