Méthodes paramétriques
Apprentissage et reconnaissance – GIF-4101 / GIF-7005 Professeur : Christian Gagn´ e
Semaine 3 : 18 septembre 2009
GIF-4101 / GIF-7005 (U. Laval)
M´thodes param´triques e e
C. Gagn´ e
1 / 32
Estimation param´trique e
Ensemble de donn´es X = {x t }N o` x t ∼ p(x) e t=1 u
Variable ind´pendante et identiquement distribu´e (iid) e e
Estimation param´trique e
Famille de densit´s de probabilit´ p(x|θ) e e Estimation θ : les statistiques suffisantes de la densit´ e Avec une loi normale N (µ, σ 2 ), θ = {µ, σ}
Estimation de θ ` partir de X a
GIF-4101 / GIF-7005 (U. Laval)
M´thodes param´triques e e
C. Gagn´ e
2 / 32
Vraisemblance d’une estimation
Vraisemblance d’une estimation param´tr´e par θ e e
N
l(θ) ≡ p(X |θ) = t=1 p(x t |θ)
p(x|θ) est ´quivalent ` la vraisemblance qu’un ´chantillon x t soit e a e obtenu ´tant donn´ θ e e Comme les x t sont iid, on fait un produit des vraisemblances
GIF-4101 / GIF-7005 (U. Laval)
M´thodes param´triques e e
C. Gagn´ e
3 / 32
Maximum de vraisemblance
Fonction log-vraisemblance
N
L(θ|X ) ≡ log l(θ|X ) = t=1 log p(x t |θ)
log(ab) = log(a) + log(b) log(an ) = n log(a)
Simplification avec log des ´quations pour certaines densit´s (ex. loi e e normale) Estimation du maximum de vraisemblance : trouver θ rendant l’´chantillonnage X le plus probable e θ∗ = argmax L(θ|X )
∀θ
GIF-4101 / GIF-7005 (U. Laval)
M´thodes param´triques e e
C. Gagn´ e
4 / 32
Exemple : loi de Bernouilli
Loi de Bernouilli : P(x) = p x (1 − p)1−x , x ∈ {0, 1} Fonction de vraisemblance :
N
L(p|X ) = log t=1 N t
p (x ) (1 − p)(1−x
t
t)
N
= t=1 x log p +
N− t=1 xt
log(1 − p)
Estimation du maximum de vraisemblance : dL(p|X ) =0 → p= ˆ dp
N t t=1 x
N
GIF-4101 / GIF-7005 (U. Laval)
M´thodes param´triques e e
C. Gagn´ e
5 / 32
Exemple : loi multinomiale
Loi multinomiale : g´n´ralisation de