Sandrine HENGA & Simon SAYAGH

Estimation non paramétrique de la régression

Master 1 Mathématiques Statistique et Applications

Avril 2011

I Introduction

En analyse de données, l’estimation non-paramétrique est souvent utilisée puisque les postulats concernant les résidus sont, dans ce cas là, toujours vérifiés, et puisque la décision de la relation entre la variable explicative X et la variable dépendante Y est directement liée aux données.
Dans ce rapport nous allons nous attarder particulièrement aux méthodes d’estimation non-paramétrique de l’espérance conditionnelle. Le but général des techniques de régression étant de décrire les relations entre plusieurs variables dans un but prédictif, ceci à partir d'observations de ces variables.

Par opposition à la statistique paramétrique, la statistique non paramétrique, le modèle n'est pas décrit par un nombre fini de paramètres. Divers cas de figure peuvent se présenter, comme par exemple:
-On autorise toutes les distributions possibles c'est à dire on ne fait aucune hypothèse sur la forme, nature ou le type de la distribution des variables aléatoires
-Le nombre de paramètres du modèle n'est pas fixé et varie (augmente) avec le nombre de variables

Il s'agira de présenter pour quelques modèles et exemples simples, les idées principales de l'estimation non paramétrique par la méthode du noyau.

II Estimation de la régression

L’utilisation des modèles paramétriques est très fréquente lorsque l’on fait appel à la régression afin d’analyser un jeu de données. Or, il y a certaines situations où ces modèles ne sont pas appropriés et où le choix d’un modèle non paramétrique est préférable. Dans ce chapitre, nous étudierons la méthode du noyau, pour l’estimation non-paramétrique de la régression. Cette méthode est très pratique lorsque l’on s’intéresse à la relation entre une variable réponse Y et une variable explicative X, mais que l’on ne veut supposer aucune forme particulière pour la