Maximum de vraisemblance

1 Le modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Estimation des paramètres du modèle . . . . . . . . . . . . . . . . 2.2.1 Estimation par moindres carrés . . . . . . . . . . . . . . . . 2.2.2 Estimation par maximum de vraisemblance . . . . . . . . . 2.3 Tests sur le modèle linéaire . . . . . . . . . . . . . . . . . . . . . . 2.3.1 Tests sur les paramètres . . . . . . . . . . . . . . . . . . . 2.3.2 Analyse de variance de la régression . . . . . . . . . . . . . 2

Avanc´e e e Notes de cours Olivier Gaudoin 2 Table des mati`res e 1 Introduction 2 Concepts de l’inf´rence statistique e 2.1 Le mod`le statistique . . . . . . . . . . . . e 2.2 Mod`le param´trique ou non param´trique e e e 2.3 Fonction de vraisemblance . . . . . . . . . 2.4 Statistiques . . . . . . . . . . . . . . . . . 2.5 Exhaustivit´ . . . . . . . . . . . . . . . . . e 2.6 La famille exponentielle . . . . . . . . . . 7 9 9 10 11 13 14 18 23 23 23 27 28 29 30 32 33 37 37 37 41 41 44 44 44 46

Interprétations géométriques . . . . . . . . . . . . . . 1.3.1 Représentation des variables . . . . . . . . . . 1.3.2 Le coefficient de détermination R2 . . . . . . 1.4 Cas d’erreurs gaussiennes . . . . . . . . . . . . . . . 1.4.1 Estimateurs du maximum de vraisemblance . 1.4.2 Rappels sur les lois usuelles . . . . . . . . . . 1.4.3 Lois des estimateurs et régions de confiance . 1.4.4 Prévision . . . . . . . . . . . . . . . . . . . . 1.5 Exemple . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 Exercices

estimateur, estimation. 3.2. Fonction de vraisemblance. 3.3. Maximum de vraisemblance. IV. Propriétés des estimateurs 4.1. Estimateur sans biais 4.2. Estimateur convergent. 4.3. Estimateur efficace. 4.4. Minimisation de l’erreur quadratique moyenne. 4.5. Interprétation des propriétés. V. Tests d’hypothèses 5.1. Méthode des intervalles de confiance. 5.2. Méthode générale de construction des tests. 5.3. Le critère du rapport des vraisemblances (LR). 5.4. Le critère de Wald (W). 5

4.3 Comparaison des estimateurs . . . . . . . . . . . 4.3.1 Décomposition biais-variance du risque . . 4.3.2 Comparaison des variances des estimateurs 4.3.3 Efficacité d’un estimateur . . . . . . . . . 5 Méthodes d’estimation ponctuelle 5.1 Maximum de vraisemblance . . . . . . . . . 5.1.1 Définition et caractéristiques . . . . . 5.1.2 Quelques exemples . . . . . . . . . . 5.1.3 Propriétés à distance finie de l’EMV 5.1.4 Propriétés asymptotiques de l’EMV . 5.2 Méthode des moments . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Méthodes d’estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.1 Résultats généraux pour un échantillon . . . . . . . . . . . . . . . . . 2.3.2 Méthode du maximum de vraisemblance . . . . . . . . . . . . . . . . 2.4 Notion de statistique exhaustive . . . . . . . . . . . . . . . . . . . . . . . . . 3 Estimation par intervalle de confiance . . . . . . . . . . . . . . . . . . . . . . . . . 3.1 Cas général . . . . . .

méthode du maximum de vraisemblance. Comparaison avec les MCO La vraisemblance en économétrie est définie comme la probabilité d’observer un échantillon, étant donné les paramètres du processus ayant engendré les données. Si on observe un vecteur de variables aléatoires [pic] indépendantes et identiquement distribuées suivant une loi [pic], alors la probabilité de l’échantillon est le produit des probabilités associées à chaque variable :[pic]. L’estimation par la méthode du maximum de vraisemblance

diverse Répondez et justi…ez précisément vos réponses. Question 1 : A quel modèle correspond ce programme d’ estimation SAS de la …gure 1. Justi…ez votre réponse. Figure 1: Programme Question 2 : Ecrivez le programme d’ estimation par Pseudo Maximum de Vraisemblance du modèle suivant en utilisant la procédure AUTOREG : p y t = zt ht (1) E yt jyt 1 =0 V yt =yt 1 = 0 + 2 1 yt 1 + 1 ht 1 + 2 ht 2 (2) où zt est un bruit blanc faible. Question 3 : Quel(s) modèle(s)

probabilité : Les fonctions sont des densités de probabilité p(x,[pic] ) et l’on cherche à estimer la loi P(x) du générateur d’exemples (le professeur attribue les sorties y = x). On peut montrer alors que , en choisissant d’appliquer le principe de maximum de vraisemblance , minimiser le risque devient équivalent à rechercher parmi les densités potentielles , celle qui est la plus proche de la densité désirée , au sens de l’information de Kullback_Leibler. D(y,y*)=-ln p(x,[pic]) Revenons _a un formalisme

verrons ne pouvait conduire qu'à des estimations inconsistentes . En 1944 Haavelmo posait les conditions générales de solvabilité . Entre 1945 et 1950 Klein présentait ses premiers modèles dont la solution était obtenue par la méthode du maximum de vraisemblance . En 1949 Koopmans déterminait les conditions de solvabilité dans le cas d'un modèle linéaire . En 1954 Theil introduisait la méthode des doubles moindres carrés permettant des calculs effectifs . Toutefois la généralisation des modèles économétriques