Méthodes paramétriques

Pages: 15 (3531 mots) Publié le: 16 avril 2011
M´thodes param´triques e e
Apprentissage et reconnaissance – GIF-4101 / GIF-7005 Professeur : Christian Gagn´ e

Semaine 3 : 18 septembre 2009

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

1 / 32

Estimation param´trique e

Ensemble de donn´es X = {x t }N o` x t ∼ p(x) e t=1 u
Variable ind´pendante et identiquement distribu´e (iid) e e

Estimationparam´trique e
Famille de densit´s de probabilit´ p(x|θ) e e Estimation θ : les statistiques suffisantes de la densit´ e Avec une loi normale N (µ, σ 2 ), θ = {µ, σ}

Estimation de θ ` partir de X a

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

2 / 32

Vraisemblance d’une estimation

Vraisemblance d’une estimation param´tr´e par θ e e
N

l(θ) ≡ p(X |θ) =t=1

p(x t |θ)

p(x|θ) est ´quivalent ` la vraisemblance qu’un ´chantillon x t soit e a e obtenu ´tant donn´ θ e e Comme les x t sont iid, on fait un produit des vraisemblances

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

3 / 32

Maximum de vraisemblance
Fonction log-vraisemblance
N

L(θ|X ) ≡ log l(θ|X ) =
t=1

log p(x t |θ)

log(ab) = log(a) +log(b) log(an ) = n log(a)

Simplification avec log des ´quations pour certaines densit´s (ex. loi e e normale) Estimation du maximum de vraisemblance : trouver θ rendant l’´chantillonnage X le plus probable e θ∗ = argmax L(θ|X )
∀θ

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

4 / 32

Exemple : loi de Bernouilli
Loi de Bernouilli : P(x) = p x (1 − p)1−x , x∈ {0, 1} Fonction de vraisemblance :
N

L(p|X ) = log
t=1 N t

p (x ) (1 − p)(1−x

t

t)

N

=
t=1

x log p +

N−
t=1

xt

log(1 − p)

Estimation du maximum de vraisemblance : dL(p|X ) =0 → p= ˆ dp
N t t=1 x

N

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

5 / 32

Exemple : loi multinomiale

Loi multinomiale : g´n´ralisation deBernouilli ` K ´tats e e a e mutuellement exclusifs
´ Etat x = (x1 , x2 , . . . , xK ), variables xi ∈ {0, 1} et i xi = 1 Chaque variable xi a une probabilit´ pi , avec i pi = 1 e K xi Probabilit´ d’´tat : p(x) = i=1 pi e e Exp´riences ind´pendantes : X = {xt }N e e t=1

Estimation du maximum de vraisemblance : ∂L(p|X ) = 0 → pi = ˆ ∂pi
t t xi

N

, i = 1, . . . , K

GIF-4101 / GIF-7005(U. Laval)

M´thodes param´triques e e

C. Gagn´ e

6 / 32

Exemple : loi normale
Loi normale : distribution param´tr´e par une moyenne µ et un e e ´cart-type σ e p(x) = √ 1 (x − µ)2 exp − , −∞ < x < ∞ 2σ 2 2πσ

Vraisemblance selon un ´chantillonage X = {x t }N avec e t=1 x t ∼ N (µ, σ 2 ) L(µ, σ|X ) = − N log(2π) − N log σ − 2
∂L(µ,σ|X ) ∂µ t

t (x

− µ)2 2σ 2
=0

t

Maximumde vraisemblance avec m s2 = =

= 0 et

∂L(µ,σ|X ) ∂σ

xt

N t 2 t (x − m) N
C. Gagn´ e 7 / 32

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

Biais d’un estimateur
d(X ), estimation de θ avec X Qualit´ de l’estimation de d(X ) : (d(X ) − θ)2 e Qualit´ de l’estimateur d : e r (d, θ) = E (d(X ) − θ)2

Evaluation de d sur tous les ´chantillonnages X possibles eBiais de l’estimateur bθ (d) = E [d(X )] − θ
Estimateur sans biais : bθ (d) = 0 pour toutes valeurs θ

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

8 / 32

Biais de l’estimateur m

Supposons ´chantillons d’une densit´ de moyenne µ e e
m est un estimateur sans biais de µ E [m] = E m → µ lorsque N → ∞
t

xt

N

=

1 N

E [x t ] =
t

Nµ =µ NVariance de l’estimateur Var(m) = Var
t

xt

N

=

1 N2

Var(x t ) =
t

Nσ 2 σ2 = 2 N N

Estimateur convergent : Var(m) → 0 lorsque N → ∞

GIF-4101 / GIF-7005 (U. Laval)

M´thodes param´triques e e

C. Gagn´ e

9 / 32

Biais de l’estimateur s 2
´ Ecart-type σ d’une loi normale N (µ, σ 2 )
s 2 est un estimateur avec maximum de vraisemblance de σ 2 s2 =
t (x t

− m)2...
Lire le document complet

Veuillez vous inscrire pour avoir accès au document.

Vous pouvez également trouver ces documents utiles

  • l'estimation parametrique
  • Estimation non paramétrique de la régression
  • Statistique non paramétrique
  • Tests Non paramétrique
  • Régression non paramétrique
  • Estimation non paramètriques
  • Methode
  • Méthode

Devenez membre d'Etudier

Inscrivez-vous
c'est gratuit !