Régression linéaire et non linéaire
Mark Asch
Septembre 2010
TADE - EDSS, UPJV 2010-11

1
1.1

Régression linéaire
La droite de moindres carrés

Le problème suivant est souvent rencontré dans tous les domaines où des mathématiques sont appliquées. Pour des points discrets ti (souvent des instants de temps), des observations bi d’un phénomène quelconque sont faites, et les résultats sont enrégistrés comme un ensemble de couples
D = {(t1 , b1 ), (t2 , b2 ), ..., (tm , bm )} .
Sur la base des ces observations, le problème est de faire des estimations ou des
ˆ
prévisions aux points (instants) t différents des ti . L’approche classique est alors de trouver l’équation de la courbe y = f (t) qui est ajustée au mieux aux points dans D afin de pouvoir ensuite estimer le
ˆ
phénomène selon y = f (t).
ˆ
Commençons par ajuster une ligne droite aux points dans D. Une fois que nous avons compris ceci, il est relativement facile d’ajuster les données avec des lignes courbes. La stratégie est de déterminer les coefficients, α et β, de la droite f (t) = α + βt qui s’ajuste au mieux aux points (ti , bi ) dans le sens où la somme des erreurs verticales (nous supposons ici que les instants sont connus sans erreurs) 1 , 2 , ... m est minimale.
Si nous définissons les erruers comme i = |f (ti ) − bi | = |α + βti − bi |

1

alors le but est : trouver les valeurs de α et β qui minimisent m 2
i.

E= i=1 Selon la théorie d’optimisation, la valeur minimale se trouve par la résolution des équations pour les points stationnaires,
∂E
= 0.
∂β

∂E
= 0,
∂α
Nous calculons aisement, m (α + βti − bi ) =

0

(α + βti − bi ) ti =

2

0,

i=1 m 2 i=1 qui peut être réecrit en termes des deux inconnus, m m

m

1 α+

ti

i=1 m ti

β

=

bi

i=1 m i=1 m t2 i α+

i=1

β

=

ti bi .

i=1

i=1

Ce système est équivalent à l’équation matricielle,
AT Ax = AT b, avec 

t1 t2 .
.