regression classique

Pages: 7 (1731 mots) Publié le: 10 juillet 2014
Régression linéaire et non linéaire
Mark Asch
Septembre 2010
TADE - EDSS, UPJV 2010-11

1
1.1

Régression linéaire
La droite de moindres carrés

Le problème suivant est souvent rencontré dans tous les domaines où des
mathématiques sont appliquées. Pour des points discrets ti (souvent des instants
de temps), des observations bi d’un phénomène quelconque sont faites, et les
résultatssont enrégistrés comme un ensemble de couples
D = {(t1 , b1 ), (t2 , b2 ), ..., (tm , bm )} .
Sur la base des ces observations, le problème est de faire des estimations ou des
ˆ
prévisions aux points (instants) t différents des ti . L’approche classique est alors
de trouver l’équation de la courbe
y = f (t)
qui est ajustée au mieux aux points dans D afin de pouvoir ensuite estimer le
ˆphénomène selon y = f (t).
ˆ
Commençons par ajuster une ligne droite aux points dans D. Une fois que
nous avons compris ceci, il est relativement facile d’ajuster les données avec des
lignes courbes. La stratégie est de déterminer les coefficients, α et β, de la droite
f (t) = α + βt
qui s’ajuste au mieux aux points (ti , bi ) dans le sens où la somme des erreurs verticales (nous supposons ici queles instants sont connus sans erreurs) 1 , 2 , ... m
est minimale.
Si nous définissons les erruers comme
i

= |f (ti ) − bi | = |α + βti − bi |

1

alors le but est : trouver les valeurs de α et β qui minimisent
m
2
i.

E=
i=1

Selon la théorie d’optimisation, la valeur minimale se trouve par la résolution
des équations pour les points stationnaires,
∂E
= 0.
∂β

∂E
= 0,
∂αNous calculons aisement,
m

(α + βti − bi ) =

0

(α + βti − bi ) ti =

2

0,

i=1
m

2
i=1

qui peut être réecrit en termes des deux inconnus,
m

m

m

1 α+

ti

i=1
m

ti

β

=

bi

i=1
m

i=1
m

t2
i

α+

i=1

β

=

ti bi .

i=1

i=1

Ce système est équivalent à l’équation matricielle,
AT Ax = AT b,
avec



t1
t2
.
.
.1



A=


1
1
.
.
.





tm



,




b=


(1)



b1
b2
.
.
.






et x =

.

bm

Le système (1) est le système d’équations normales associé
Le produit,

1 t1
 1 t2
1 1 ··· 1

AT A =
 .
.
.
t1 t2 · · · tm  .
.
.
1
=

α
β

m
i=1 ti
m
2
i=1 ti

m
m
i=1 ti

2

.

tm

au système Ax = b.





Vu que les ti sont supposés distincts, le système admet une solution unique
donnée par
−1 T
x = AT A
A b
et l’erreur totale par
m
2
i

= (Ax − b)T (Ax − b).

i=1

Nous résumons dans un théorème.
Pour A ∈ Rm×n et b ∈ Rm , soit = (x) = Ax − b. Le problème général de
moindres carrés est de trouver le vecteur x qui minimise la quantité
m
2
i

=

T

= (Ax − b)T(Ax − b).

i=1

Tout vecteur qui fournit une valeur minimale s’appele une solution de moindres
carrés. L’ensemble de toutes les solutions de moindres carrés est précisément
l’ensemble de solutions du système des équations normales, AT Ax = AT b. Il
−1 T
existe une solution de moindres carrés unique, donnée par x = AT A
A b,
si et seulement si le rank(A) = n. Si Ax = b est consistente,alors la solution de
Ax = b est la même que celle de moindres carrés.

1.2

La courbe de moindres carrés

Le problème est ici de trouver un polynôme de degré donné,
p(t) = α0 + α1 t + α2 t2 + · · · + αn−1 tn−1
qui se rapproche autant que possible, dans le sens des moindres carrés, à un
ensemble de mesures
D = {(t1 , b1 ), (t2 , b2 ), ..., (tm , bm )} ,
où les ti sont distincts et n ≤ m.Le but, de nouveau, est de minimiser la somme
de carrés,
m

m
2
i

i=1

2

(p(ti ) − bi ) = (Ax − b)T (Ax − b).,

=
i=1





A=


1
1
.
.
.

t1
t2
.
.
.

t2
1
t2
2
.
.
.

1



tm

t2
m

···
···
···
···

tn−1
1
tn−1
2
.
.
.







,




b=


tn−1
m

b1
b2
.
.
.
bm








...
Lire le document complet

Veuillez vous inscrire pour avoir accès au document.

Vous pouvez également trouver ces documents utiles

  • régression
  • La régression multiple
  • Analyse de la regression
  • Regression linéaire
  • Regression multiple
  • Statistique régression
  • Les classiques
  • Les classiques

Devenez membre d'Etudier

Inscrivez-vous
c'est gratuit !