Université des Sciences et Technologies de Lille U. F. R. de Mathématiques Pures et Appliquées

Chaînes de Markov

Daniel Flipo

Agrégation de Mathématiques

Sommaire
 Définitions et exemples               

 Généralisations de la propriété de Markov . Cylindres sur E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
N

. Opérateurs de décalage sur EN . . . . . . . . . . . . . . . . . . . . . . . Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . .  Classification des états . Classes d’états communicants . . . . . . . . . . . . . . . . . . . . . . . Récurrence et transience . . . . . . . . . . . . . . . . . . . . . . . . . .  Théorèmes limites . Cas j transient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Mesures invariantes . . . . . . . . . . . . . . . . . . . . . . . . Période d’un état . . . . . . . . . . . . . . . . . . . . . . . . . . Convergence en loi . . . . . . . . . . . . . . . . . . . . . . . . . Théorème ergodique . . . . . . . . . . . . . . . . . . . . . . . . . Cas des chaînes irréductibles récurrentes . . . . . . . . . . . . . . . . .. .. .. ..

 Propriétés algébriques des chaînes de Markov à espace d’états fini Exercices Bibliographie

  

 Définitions et exemples
Définition . Soit (X n )n∈N une suite de variables aléatoires de (Ω, A , P) dans un espace E fini ou dénombrable appelé espace des états. ) On dit que (X n )n∈N est une chaîne de Markov si et seulement si P(X n+1 = j | X n = i , X n−1 = i n−1 , . . . , X 1 = i 1 , X 0 = i 0 ) = P(X n+1 = j | X n = i ) pour tout n ∈ N, pour tout état j et pour toute suite d’états i 0 , i 1 , . . . i n−1 , i , pour lesquels la probabilité conditionnelle a un sens, c.-à-d. tels que P(X n = i , X n−1 = i n−1 , . . . , X 1 = i 1 , X 0 = i 0 ) > 0. ) Si en plus la probabilité P(X n+1 = j | X n = i ) ne dépend pas de n, c.-à-d. si ∀n ∈ N, P(X n+1 = j | X n = i ) = P(X 1 = j | X