Analyse descriminante
Equipe de recherche en Ingénierie des Connaissances Laboratoire ERIC
1
Théorème de Bayes
Probabilité conditionnelle
Estimer la probabilité conditionnelle
P (Y = y k / X
)=
=
P (Y = y
P (X / Y = y k ) P (X ) P (Y = y k ) × P ( X / Y = y k k )×
) k ∑
K
k =1
P (Y = y
k
)×
P
(X
/Y = y
)
Déterminer la conclusion = déterminer le max. y y k *
= arg = arg
max k P (Y = y
k
/ X
)
⇔ k *
max k P (Y = y
k
)×
P
(X
/Y = y
k
)
Probabilité a priori Estimé facilement par nk/n
Equipe de recherche en Ingénierie des Connaissances Laboratoire ERIC
Comment estimer P(X/Y=yk)
Impossibilité à estimer avec des fréquences Le tableau croisé serait trop grand et rempli de zéros
2
[1] Hypothèse de normalité
Loi normale multidimensionnelle
La normalité de la probabilité conditionnelle P(X/Y)
P(
X 1 = v1 ,K , X J = v J
yk ) =
1 2 π det( Σ k )
e
− 1 ( X − µ k ) Σ k −1 ( X − µ k )' 2
(X1) pet_length v s . (X2) pet_w idth by (Y ) ty pe
µk
Σk
2
µ3
Centre de gravité conditionnelle Matrice de variance co-variance conditionnelle 1
µ2
µ1
1 2 3 Iris -s etos a 4 Iris -v ers ic olor 5 Iris -v irginic a 6
Equipe de recherche en Ingénierie des Connaissances Laboratoire ERIC
3
[2] Homoscédasticité
Égalité des matrices de variance co-variance conditionnelles
Σ = Σ k , k = 1, K , K
( X 1 ) p e t_ le n g th v s . ( X 2 ) p e t_ w id th b y ( Y ) ty p e
2
µ3
µ2
1
µ1
1 2 3 Ir is - s e to s a 4 Ir is - v e r s ic o lo r 5 Ir is - v ir g in ic a 6
Equipe de recherche en Ingénierie des Connaissances Laboratoire ERIC
4
Fonction linéaire discriminante
Simplification des formules sous [1] et [2]
La probabilité conditionnelle est donc proportionnelle à
ln P( X yk ) ∝ − 1 ( X − µk )Σ −1 ( X − µ k )' 2
Avec les estimations sur