M´thodes param´triques e e
Apprentissage et reconnaissance – GIF-4101 / GIF-7005 Professeur : Christian Gagn´ e

Semaine 3 : 18 septembre 2009

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

1 / 32

Estimation param´trique e

Ensemble de donn´es X = {x t }N o` x t ∼ p(x) e t=1 u
Variable ind´pendante et identiquement distribu´e (iid) e e

Estimation param´trique e
Famille de densit´s de probabilit´ p(x|θ) e e Estimation θ : les statistiques suffisantes de la densit´ e Avec une loi normale N (µ, σ 2 ), θ = {µ, σ}

Estimation de θ ` partir de X a

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

2 / 32

Vraisemblance d’une estimation

Vraisemblance d’une estimation param´tr´e par θ e e
N

l(θ) ≡ p(X |θ) = t=1 p(x t |θ)

p(x|θ) est ´quivalent ` la vraisemblance qu’un ´chantillon x t soit e a e obtenu ´tant donn´ θ e e Comme les x t sont iid, on fait un produit des vraisemblances

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

3 / 32

Maximum de vraisemblance
Fonction log-vraisemblance
N

L(θ|X ) ≡ log l(θ|X ) = t=1 log p(x t |θ)

log(ab) = log(a) + log(b) log(an ) = n log(a)

Simplification avec log des ´quations pour certaines densit´s (ex. loi e e normale) Estimation du maximum de vraisemblance : trouver θ rendant l’´chantillonnage X le plus probable e θ∗ = argmax L(θ|X )
∀θ

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

4 / 32

Exemple : loi de Bernouilli
Loi de Bernouilli : P(x) = p x (1 − p)1−x , x ∈ {0, 1} Fonction de vraisemblance :
N

L(p|X ) = log t=1 N t

p (x ) (1 − p)(1−x

t

t)

N

= t=1 x log p +

N− t=1 xt

log(1 − p)

Estimation du maximum de vraisemblance : dL(p|X ) =0 → p= ˆ dp
N t t=1 x

N

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

5 / 32

Exemple : loi multinomiale

Loi multinomiale : g´n´ralisation de