LEÇON

9

Marches aléatoires

Niveau : Terminale S
Prérequis : aucun

1

Chaînes de Markov
Chaîne de Markov I

Définition 9.1

Une chaîne de Markov est une suite de variables aléatoires (Xn , n ∈ N) qui permet de modéliser l’évolution dynamique d’un système aléatoire : Xn représente l’état du système à l’instant
n.
Propriété de Markov

Propriété 9.2

L’évolution future du système ne dépend du passé qu’à travers de sa valeur actuelle. Autrement dit, conditionnement à Xn , (X0 , . . . , Xn ) et (Xn+k , k ∈ N) sont indépendantes.
Les applications des chaînes de Markov sont très nombreuses :
– réseaux,

– gestion de stock,

– génétique ddes populations,

– alogirthmes stochastiques d’optimisation,

– mathématiques financières,

– simulation.

On se place maintenant sur E un espace discret, c’est-à-dire un espace au plus dénombrable muni de la topologie discrète où tous les points de E sont isolés. On considère la tribu E = P(E).
Matrices stochastiques

Définition 9.3

Une matrice P = (P (x, y))x,y∈E est dite matrice stochastique si ses coefficients sont positifs et la somme sur une ligne des coefficients est égale à 1 :
a. P (x, y) ≥ 0 ;
�
b. z∈E P (x, z) = 1 ; pour tous x, y ∈ E.
On donne une nouvelle définition des chaînes de Markov basée sur les probabilités.
Chaîne de Markov II

Définition 9.4

Soit P une matrice stochastique sur E. Une suite de variables aléatoires (Xn , n ∈ N) à valeurs dans E est appelée chaîne de Markov de matrice de transition P si pour tous n ∈ N, x ∈ E, on a :
P (Xn+1 | Xn , . . . , X0 ) = P (Xn+1 = x | Xn ) = P (Xn , x).
On dit que la chaîne de Markov est issue de µ0 si la loi de X0 est µ0 .
Remarques 9.5.
a. Comme l’espace d’état est discret, l’équation de la définition précédente est équivalente à : pour tous x0 , . . . , xn ∈ E, tels que P (Xn = xn , . . . , X0 = x0 ) > 0 :
P (Xn+1 = x | Xn = xn , . . . , X0 = x0 ) = P (Xn+1 = x | Xn = xn ) = P (Xn , x).
b. Si P (X0 = x) = 1,