Théorème de renouvellement en Chaine de Markov

Introduction :
Une chaîne de Markov est une suite de variables aléatoires (Xn, n ∈ N) qui modélise l’évolution dynamique d’un système aléatoire. La v.a Xn représente l’état du système à l’instant n. La propriété fondamentale des chaînes de Markov, dite propriété de Markov, est que son évolution future ne dépend du passé qu’à travers sa valeur présente.
Définitions :
Soient (Ω,a,P) un espace de proba et E l’espace des états. 1) Une matrice π = (π (x, y), x, y ∈ E) est une matrice stochastique si : π (x, y) ≥ 0 pour tous x, y ∈ E et z π(x, z) = 1 pour tous x ∈ E.

2) Soit π une matrice stochastique sur E. Une suite de variables aléatoires (Xn, n ∈ N) définies sur (Ω,a,P) à valeurs dans E est une chaîne de Markov de matrice de transition π si pour tous n ∈ N, x ∈ E, on a : P(Xn+1 = x / Xn=xn, . . . , X0=x0) = P(Xn+1 = x/ Xn=xn) = π (xn, x).

3) Une probabilité q sur E est une probabilité invariante, ou probabilité stationnaire, d’une chaîne de Markov de matrice de transition π si : q = q π .

4) Soit X = (Xn, n ∈ N) une chaîne de Markov. On note : Px .=P( . /X0=x) et Tx=infn>0;Xn=x . Un état x ∈ E est récurrent si : Px(Tx=+∞) = 0.
Une chaîne de Markov est dite récurrente si tous ses états sont récurrents.

5) On note Ex l’espérance par rapport à Px .
Un état x est récurrent positif si m(x) := Ex (Tx)<∞.
Un état x est récurrent nul si m(x) := Ex(Tx)=∞.
Une chaîne de Markov est récurrente positive si tous ses états sont récurrents positifs.
Une chaîne de Markov est récurrente nulle si tous ses états sont récurrents nuls.

6) Soient X une C.M de matrice de transition π et π⁽ⁿ⁾(x,y)la transition de x à y en n étapes.
La période d’un état x ∈ E est : PGCD {n ∈ N*; π⁽ⁿ⁾(x,x) > 0}.
Un état est dit apériodique si sa période est 1.
Une chaîne de Markov est apériodique si tous