Modèles de réseaux de neurones pour l’analyse des séries temporelles ou la régression : Estimation, Identification, Méthode d’élagage SSM

Pages: 28 (6823 mots) Publié le: 12 janvier 2014
ARTIFICIAL INTELLIGENCE

Modèles de réseaux de neurones pour
l’analyse des séries temporelles ou la régression :
Estimation, Identification, Méthode d’élagage SSM
J. Rynkiewicz, M. Cottrell, M. Mangeas, J.F. Yao
SAMOS, Université de Paris 1
90, rue de Tolbiac
75013 Paris
cottrell@univ-paris1.fr
Ce papier porte sur la modélisation de séries temporelles ou de régression à l’aide deréseaux de neurones. En nous appuyant sur des résultats récents sur l’estimation des moindres
carrés pour les séries temporelles non linéaires, nous proposons une méthodologie complète
et explicite pour l’estimation des paramètres (processus d’apprentissage) et pour le choix du
modèle (sélection d’architecture). En particulier, nous donnons une solution au problème de
l’élagage dans un perceptronmulti-couches au moyen d’une méthode pas à pas utilisant un
critère de type BIC dont on démontre la consistance.
RÉSUMÉ.

This paper deals with neural network modeling for time series analysis or regression. Based on recent results about the least-square estimation for non-linear time series, we
propose a complete and feasible methodology for both parameter estimation (learning process)
andmodel selection (architecture selection). In particular, we solve the pruning problem for
multilayer perceptron models with a stepwise search method by using a BIC criterion which is
proved to be consistent.

ABSTRACT.

MOTS-CLÉS :

Identification statistique, statistiques asymptotiques

KEYWORDS:

Statistical Stepwise, Almost sure identification, asymptotic statistics

 

SMM : RIA.Volume X - n X/2001, pages 1 à X

 

2

SMM : RIA. Volume X - n X/2001

1. Introduction
Les perceptrons multi-couches (MLP) ont d’abord été introduits pour résoudre des
problèmes complexes de classification. Mais en raison de leur propriété d’approximateur universel (voir Hornik, 1989, [HOR 89] ou Funahashi, 1989, [FUN 89]), ils
ont été rapidement utilisés comme modèles de régression nonlinéaire, et ensuite pour
la modélisation des séries temporelles et la prévision. Voir par exemple (Weigend et
Gershenfeld, 1994, [WEI 93] ou Cottrell et al., 1995, [COT 95]) pour les références.
Cependant, l’estimation et l’identification de ces modèles utilisent des techniques
sophistiquées et il n’est pas facile de déterminer l’architecture adéquate. En effet, ces
modèles sont par définitionsur-paramétrés, les fonctions d’erreur à minimiser ont de
nombreux minima locaux, et la mise en oeuvre s’avère souvent délicate.
De nombreux articles portent sur les techniques d’élagage des paramètres inutiles,
en particulier dans le cadre des modèles de régression, et les utilisateurs ont étendu
les techniques proposées au cas des séries temporelles. Voir par exemple (Le Cun et
al., 1990,[CUN 90], Moody, 1992, [MOO 92], Reed, 1993, [REE 93], Murata et al.,
1994, [MUR 94], etc.). La plupart de ces papiers fournissent des heuristiques, mais ne
se placent pas dans un cadre statistique rigoureux.
Ce papier propose un ensemble de résultats théoriques établis dans le cadre de modèles neuronaux de séries temporelles, qui étendent des résultats connus dans le cadre
des modèlesstatistiques linéaires (Hannan et Deistler [HAN 88]). En fait ces résultats sont également valables dans le cadre des modèles de régression et des modèles
mixtes (modèles auto-régressifs comprenant aussi des variables exogènes), mais pour
simplifier l’exposé, nous nous plaçons uniquement dans le cadre auto-régressif.
Nous considérons donc une famille de modèles appelés Neural AutoRegressive
model(NAR), définis par :

¢ &$£"!  £©§¥£¡
( ' % # ¢ ¡    ¢ ¡ ¨ ¦ ¤ ¢

[1]



¨ ¦
1 )
20¢ ¡



, mais on peut généraliser au cas multidimensionnel,

représente une fonction implémentée par un perceptron multi-couches avec

une seule unité de sortie,
,

F
GE
H
% QP
 I
¢
(
B   9 ¤ 64 ¢
C7 A@875£3¡

– est un bruit i.i.d., d’espérance 0, de...
Lire le document complet

Veuillez vous inscrire pour avoir accès au document.

Vous pouvez également trouver ces documents utiles

  • Réseaux de neurones et séries temporelles
  • Réseaux de neurones et séries temporelles
  • Series temporelles
  • Séries temporelles
  • Séries Temporelles
  • Séries temporelles
  • Series temporelles
  • L'analyse de régression

Devenez membre d'Etudier

Inscrivez-vous
c'est gratuit !