Maximum de vraisemblance

Test de Durbin et Watson . . . . . . . . . . 2.1.4.4 Les tests d’ad´quation des r´sidus . . . . . e e 2.2 Retour sur le maximum de vraisemblance . . . . . . . . . . 2.2.1 Le principe du maximum de vraisemblance . . . . . 2.2.2 Propri´t´s du maximum de vraisemblance . . . . . . ee 2.2.3 EMV du mod`le gaussien standard . . . . . . . . . . e 2.2.4 Les tests li´s ` la vraisemblance . . . . . . . . . . . . e a 2.3 Pr´vision ` partir du mod`le lin´raire multiple . . . . . . . e a e e 2.4 Une calibration

x) = e−λ λx x! On rappelle que si X ∼ P(λ) alors E[X] = λ et V [X] = λ. On note x1 , . . . , xn les observations obtenues par l’association d’usagers. 1. Montrer que la vraisemblance des observations x1 , . . . , xn vaut : L(x1 , . . . , xn ; λ) = e−nλ λ Pn i=1 2. En d´duire que l’estimateur du maximum de vraisemblance de λ not´ Wn est X n e e xi ￿ 1 n i=1 xi ! 3. Calculer le biais et la variance de cet estimateur. 4. Montrer la convergence en probabilit´ de Wn vers λ. En d´duire

o` u X est une matrice de dimension N × K de variables explicatives et N (0, σ 2 I). On s’int´eresse `a l’hypoth`ese nulle suivante: Rβ = q. suit une loi (a) D´erivez l’estimateur du maximum de vraisemblance de β et σ 2 pour le mod`ele non contraint. (b) D´erivez maintenant l’estimateur du maximum de vraisemblance de β et σ 2 pour le mod`ele contraint. (c) D´erivez une expression exprimant l’estimateur contraint de β en fonction de l’estimateur non contraint de β. (d) D´erivez la matrice de variance-covariance

petits exercices Cours de Statistique Multivariée Approfondie 2 Plan du cours d’aujourd’hui - 1 1. Introduction Les concepts de base pour la modélisation par équations structurelles 2. Modélisation d’équations structurelles par le maximum de vraisemblance (LISREL) Le modèle LISREL Estimation du modèle Indices de validation Un exemple Indices de modification Cours de Statistique Multivariée Approfondie 3 Plan du cours d’aujourd’hui - 2 3. Modélisation d’équations structurelles par

MAXIMUM DE VRAISEMBLANCE Définitions : Soit X une variable aléatoire réelle, de loi ou bien discrète ou bien continue, dont on veut estimer un paramètre θ. On note cette famille de lois paramétriques. Alors on définit une fonction f telle que : fθ(x) représente la densité de X (où θ apparaît) et Pθ(X = x) représente une probabilité discrète (où θ apparaît). On appelle vraisemblance de θ au vu des observations (x1,...,xi,...,xn) d'un n-échantillon indépendamment et identiquement distribué selon

Y2, . . . , Yn) ont pris les valeurs (y1, y2, . . . , yn). Nous devons choisir les esp´erances math´ematiques f(x1), f(x2), . . . , f(xn) de telle sorte que la probabilit´e de cet ´ev`enement soit maximale. C’est le principe dit  du maximum de vraisemblance . Les variables Yi ´etant continues, la probabilit´e de chacun des ´ev`enements Yi = yi est nulle, c’est pourquoi nous consid`ererons les ´el´ements de probabilit´e correspondants : fi(yi)dyi = 1 p2 e−[yi−'(xi)]2/(22)dyi Les mesures

consid´r´. e e e e Si θj < 0, Xij a un effet n´gatif sur l’´v´nement consid´r´. e e e e e II II.1 Analyse statistique Estimation par Maximum de Vraisemblance N On utilise la m´thode du maximum de vraisemblance pour estimer nos param`tres. La vraisemblance s’´crit : e e e L(θ) = i=n F (Xi θ)Yi (1 − F (Xi θ))1−Yi . et donc la log-vraisemblance vaut : N N log L(θ) = i=1 Yi log F (Xi θ) + i=1 (1 − Yi ) log (1 − F (Xi θ)) log (1 − F (Xi θ)) . i:Yi =0 = i:Yi =1 log

constante. L’estimation au maximum de vraisemblance de la probabilité se fait par la fréquence. > sum(y1) [1] 52 > sum(y1)/100 [1] 0.52 La probabilité pour que l’espèce soit présente dans un relevé est 0.52. Quelle est la probabilité de l’observation dans ce modèle. On a observé 52 présences de probabilité 0.52 et 48 absences de probabilité 0.48. La vraisemblance est donc : P ( observation ) = L ( p ) = ∏ i =1 P ( yi ) = 0.5252 0.4848 n Le logarithme de la vraisemblance est donc : log ( P ( observation)

est une transformation affine de x . Le modèle de régression linéaire est souvent estimé par la méthode des moindres carrés mais il existe aussi de nombreuses autres méthodes pour estimer ce modèle. On peut par exemple estimer le modèle par maximum de vraisemblance ou encore par inférence bayésienne. Bien qu'ils soient souvent présentés ensemble le modèle linéaire et la méthode des moindres carrés ne désignent pas la même chose. Le modèle linéaire désigne une classe de modèles qui peuvent être estimés

|rt−1 ) − µt (θ)2 Consid´rant que les r´alisation aux diff´rentes dates sont conditionnelles ind´pendantes, e e e e on pourra utiliser une m´thode du (quasi) maximum de vraisemblance : e T L(θ) = t=1 1 2πht (θ) e− 2 (rt −µt (θ)) 1 2 /h t (θ) (2) En pratique, on recherchera le maximum du logarithme de la vraisemblance : θ∗ = argmin − log L(θ) consid´rant que µ − t ≈ 0, l’optimisation consiste donc a minimiser e log(ht ) + t=1,T 2 rt ht Cette estimation peut ˆtre r´alis´e