Regréssion linéaire

Université Rennes 2
Master de Statistique
Année 2012/2013
Premier Semestre

Régression linéaire
Arnaud Guyader

Ce cours est tiré des quatre premiers chapitres du livre de Pierre-André Cornillon et Eric MatznerLøber, Régression avec R, paru chez Springer en 2010.

Table des matières
1 La régression linéaire simple
1.1 Modélisation . . . . . . . . . . . . . . . . . . . . . .
1.2Moindres Carrés Ordinaires . . . . . . . . . . . . . .
1.2.1 Calcul des estimateurs de β1 et β2 . . . . . .
ˆ
ˆ
1.2.2 Quelques propriétés des estimateurs β1 et β2
1.2.3 Calcul des résidus et de la variance résiduelle
1.2.4 Prévision . . . . . . . . . . . . . . . . . . . .
1.3 Interprétations géométriques . . . . . . . . . . . . . .
1.3.1 Représentation des variables . . . . . . . . . .
1.3.2Le coefficient de détermination R2 . . . . . .
1.4 Cas d’erreurs gaussiennes . . . . . . . . . . . . . . .
1.4.1 Estimateurs du maximum de vraisemblance .
1.4.2 Rappels sur les lois usuelles . . . . . . . . . .
1.4.3 Lois des estimateurs et régions de confiance .
1.4.4 Prévision . . . . . . . . . . . . . . . . . . . .
1.5 Exemple . . . . . . . . . . . . . . . . . . . . . . . . .
1.6 Exercices. . . . . . . . . . . . . . . . . . . . . . . .
1.7 Corrigés . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

1
2
2
3
4
7
8
9
9
10
11
11
12
13
15
16
16
22

2 La régression linéaire multiple
2.1 Modélisation . . . . . . . . . . . . . . . . .
2.2 Estimateurs des MoindresCarrés Ordinaires
ˆ
2.2.1 Calcul de β . . . . . . . . . . . . . .
2.2.2 Quelques propriétés . . . . . . . . .
2.2.3 Résidus et variance résiduelle . . . .
2.2.4 Prévision . . . . . . . . . . . . . . .
2.3 Interprétation géométrique . . . . . . . . . .
2.4 Exemple . . . . . . . . . . . . . . . . . . . .
2.5 Exercices . . . . . . . . . . . . . . . . . . .
2.6 Corrigés . . . . . . . . . . . .. . . . . . . .

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
..
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

29
30
31
31
33
35
36
37
38
38
42

3 Le modèle gaussien
3.1Estimateurs du Maximum de Vraisemblance
3.2 Lois des estimateurs . . . . . . . . . . . . .
3.2.1 Quelques rappels . . . . . . . . . . .
3.2.2 Nouvelles propriétés . . . . . . . . .
3.2.3 Intervalles et régions de confiance . .
3.2.4 Prévision . . . . . . . . . . . . . . .
3.3 Tests d’hypothèses . . . . . . . . . . . . . .
3.3.1 Introduction . . . . . . . . . . . . . .

.
.
.
.
.
.
.
....