Roman Vraisemblance

Bayes . . . . . . . . . . . . 7. Règle de calcul des espérances . . . . . 8. Loi Gaussienne ou normale . . . . . . 9. Estimation . . . . . . . . . . . . . . . . 9.1. Principes, méthode de moments 9.2. Moindres carrés ordinaires . . 9.3. Maximum de vraisemblance . . 2 7 7 7 8 9 9 10 10 11 11 11 13 14 17 17 20 22 25 27 28 31 35 35 37 37 43 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

consid´r´. e e e e Si θj < 0, Xij a un effet n´gatif sur l’´v´nement consid´r´. e e e e e II II.1 Analyse statistique Estimation par Maximum de Vraisemblance N On utilise la m´thode du maximum de vraisemblance pour estimer nos param`tres. La vraisemblance s’´crit : e e e L(θ) = i=n F (Xi θ)Yi (1 − F (Xi θ))1−Yi . et donc la log-vraisemblance vaut : N N log L(θ) = i=1 Yi log F (Xi θ) + i=1 (1 − Yi ) log (1 − F (Xi θ)) log (1 − F (Xi θ)) . i:Yi =0 = i:Yi =1 log F (Xi

linéaires suivantes : Logit (p1) = natural log (odds) = ln (1) Logit (p1 + p2) = natural log (odds) = ln (2) Les paramètres sont estimés par la méthode maximum de vraisemblance afin de maximiser les chances de reproduction des données dans le temps. La valeur ainsi que le signe des paramètres estimes indiquent la relation existant entre la variable dépendante et les variables explicatives. Une telle relation est représentée

Estimation ponctuelle 13.1 13.2 13.3 13.4 13.5 13.6 Définition d’un estimateur Principales qualités d’un estimateur Estimateur sans biais de variance minimale Précision intrinsèque d’un estimateur et inégalité de Cramer-Rao Méthode du maximum de vraisemblance (MV) Extension au cas de plusieurs paramètres 14 • Estimation par intervalle de confiance 14.1 Définition d’un intervalle de confiance 14.2 Exemples d’intervalles de confiance 14.3 Estimation et intervalle de confiance dans le cas d’une population

ϑ Var(X) = ϑ2 m1’ = X ϑ=X comme on a un seul paramètre à estimer on n’utilise qu’une seule équation, si 2 paramètres on utilise 2 équations. Méthode du maximum de vraisemblance : sélectionner un estimateur qui maximise la probabilité d’observer l’échantillon qui est à notre disposition. Principe : on forme la fonction L (vraisemblance), L(x1, … , xn, ϑ) L = ∏ P(X = xi ) dans la cas discret L = ∏ f(xi) dans le cas continu et on veut maximiser L par rapport au paramètre ϑ. Habituellement on calcul

une variable x). system ! système d’ équations coef ! paramètres d’ une équation, exemple coef(2) estim (la dimension (2) est optionnelle ; par défaut, l’ objet créé est de taille 1 et contient des 0). logL ! log-vraisemblance utilisée pour estimer un modèle par maximum de vraisemblance model ! système d’ équations simultanées utilisé pour la prévision et la simulation var ! modèle VAR ou VECM 2.2 Dé…nition d’ objet un Une fois l’ objet déclaré, l’ opérateur peut en dé…nir le contenu: -

t−1 + Q L’erreur de pr´diction ν est d´finie comme : e e ′ νt = yt − zt at|t−1 (14) (15) (16) ′ νt iidN(0, σ 2 ft ) avec ft = zt Pt|t−1 zt + 1. La vraisemblance de l’erreur de pr´e diction s’´crit alors pour une observation : e 1 2πσ 2 ft −νt2 2σ 2 ft L(νt ) = exp (17) Le but est d’estimer σ 2 par maximum de vraisemblance. Lorsque a0|0 et P0|0 sont inconnus, a0|0 et P0|0 sont choisis arbitrairement, mais avec P0|0 grand. Dans ce cas, les NS premi`res observations ne sont pas

. . . . . . . . . . . . . . . . . e e e 3.2 Estimateur convergent . . . . . . . . . . . 3.3 Estimateur sans biais . . . . . . . . . . . . 3.4 Estimateur de variance minimum . . . . . 3.5 Une m´thode g´n´rale d’estimation : e e e le maximum de vraisemblance . . . . . . . 3.6 Une bricole sur le th´or`me central limit . e e 3.7 Applications . . . . . . . . . . . . . . . . . 3.7.1 Estimation des param`tres d’une loi e 3.7.2 Estimation d’un pourcentage . . . . 4 Tests d’hypotheses 4.1 G´n´ralit´s . .

fonctions sont des densités de probabilité p(x,[pic] ) et l’on cherche à estimer la loi P(x) du générateur d’exemples (le professeur attribue les sorties y = x). On peut montrer alors que , en choisissant d’appliquer le principe de maximum de vraisemblance , minimiser le risque devient équivalent à rechercher parmi les densités potentielles , celle qui est la plus proche de la densité désirée , au sens de l’information de Kullback_Leibler. D(y,y*)=-ln p(x,[pic]) Revenons _a un formalisme uniforme_

par la Méthode du Maximum de Vraisemblance . . . . . . 26 2.1 Estimation par maximum de vraisemblance . . . . . . . . . . . . . . . . . . . . . 26 2.1.1 Matrices Hessiennes et Matrices d’information de Fischer . . . . . . . . . 28 2.1.2 Unicité du maximum global de la fonction de log-vraisemblance . . . . . . 30 2.2 Algorithmes de maximisation de la vraisemblance . . . . . . . . . . . . . . . . . . 32 3 Propriétés Asymptotiques des Estimateurs du Maximum de Vraisemblance . . . . . . . 35 3.1 Convergence