Chaine de markov

Disponible uniquement sur Etudier
  • Pages : 64 (15787 mots )
  • Téléchargement(s) : 0
  • Publié le : 25 mars 2011
Lire le document complet
Aperçu du document
Université des Sciences et Technologies de Lille U. F. R. de Mathématiques Pures et Appliquées

Chaînes de Markov

Daniel Flipo

Agrégation de Mathématiques

Sommaire
 Définitions et exemples               

 Généralisations de la propriété de Markov . Cylindres sur E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
N

. Opérateurs dedécalage sur EN . . . . . . . . . . . . . . . . . . . . . . . Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . .  Classification des états . Classes d’états communicants . . . . . . . . . . . . . . . . . . . . . . . Récurrence et transience . . . . . . . . . . . . . . . . . . . . . . . . . .  Théorèmes limites . Cas j transient . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . Mesures invariantes . . . . . . . . . . . . . . . . . . . . . . . . Période d’un état . . . . . . . . . . . . . . . . . . . . . . . . . . Convergence en loi . . . . . . . . . . . . . . . . . . . . . . . . . Théorème ergodique . . . . . . . . . . . . . . . . . . . . . . . . . Cas des chaînes irréductibles récurrentes . . . . . . . . . . . . . . . . .. .. .. .. Propriétés algébriques des chaînes de Markov à espace d’états fini Exercices Bibliographie

  

 Définitions et exemples
Définition . Soit (X n )n∈N une suite de variables aléatoires de (Ω, A , P) dans un espace E fini ou dénombrable appelé espace des états. ) On dit que (X n )n∈N est une chaîne de Markov si et seulement si P(X n+1 = j | X n = i , X n−1 = i n−1 , . . . , X 1 = i 1 , X0 = i 0 ) = P(X n+1 = j | X n = i ) pour tout n ∈ N, pour tout état j et pour toute suite d’états i 0 , i 1 , . . . i n−1 , i , pour lesquels la probabilité conditionnelle a un sens, c.-à-d. tels que P(X n = i , X n−1 = i n−1 , . . . , X 1 = i 1 , X 0 = i 0 ) > 0. ) Si en plus la probabilité P(X n+1 = j | X n = i ) ne dépend pas de n, c.-à-d. si ∀n ∈ N, P(X n+1 = j | X n = i ) = P(X 1 = j | X 0 =i )

on dit que la chaîne de Markov est homogène. La propriété de Markov exprime que, si la valeur de X n est connue à l’instant n, la loi des variables futures (X n+1 , X n+2 etc.) ne dépend pas du passé (les valeurs de X n−1 , X n−2 etc.). Vérifier à titre d’exercice que, si (X n ) est une chaîne de Markov homogène, P(X n+2 = k, X n+1 = j | X n = i , X n−1 = i n−1 , . . . , X 1 = i 1 , X 0 = i0 ) = P(X n+2 = k | X n+1 = j ) P(X n+1 = j | X n = i ) = P(X 2 = k, X 1 = j | X 0 = i ). ()

Exemples : vérifier dans chacun des exemples suivants que X n est une chaîne de Markov homogène et préciser sa matrice de transition. ) Promenades aléatoires : soit (Yn )n∈N∗ une suite de variables aléatoires indépendantes et de même loi à valeurs dans Z (ou Zd ), soit X 0 une variable aléatoire àvaleurs dans Z (ou Zd ), indépendante des (Yn ), on pose X n = X 0 + n=1 Yi pour i tout entier n ≥ 1. ) Ruine du joueur : deux joueurs A et B disposant respectivement de fortunes initiales a et b (entiers positifs) jouent à un jeu de hasard. La mise est de 1 par partie ; les résultats des parties sont indépendants, à chaque partie A a la probabilité p de gagner, q de perdre et r ≥ 0 de faire matchnul (0 < p < 1, 0 < p < 1 et p + q + r = 1). Le jeu se poursuit indéfiniment ou jusqu’à la ruine d’un des deux joueurs. On note X n la fortune du joueur A après n parties.



) Séries de succès : des candidats doivent répondre à une suite de questions de difficulté variable, les performances des différents candidats sont indépendantes. La probabilité pour chaque candidat de bien répondre à unequestion de niveau k est p k , celle de donner une réponse fausse est q k = 1 − p k . Lorsqu’un candidat donne une réponse fausse, il est remplacé par le candidat suivant qui démarre au niveau 0. X n représente le niveau atteint par le candidat en lice à l’instant n : ∀n, k ∈ N (n ≥ k), P(X n+1 = k + 1 | X n = k, X n−1 = k − 1, . . . X n−k = 0) = p k P(X n+1 = 0 | X n = k, X n−1 = k − 1, . . ....
tracking img