Les chaînes de Markov à temps continu
Abdeslam Kadrani

Rabat, Mai 2012

Abdeslam Kadrani,
Processus Stochastique

Chaîne de Markov à temps continu
Définition

Une chaîne de Markov à temps continu est un processus stochastique {X (t), t ≥ 0}, à temps continu, défini sur un espace d’états E fini ou dénombrable et vérifiant la propriété de Markov: P[Xt+u = j|Xs , 0 ≤ s ≤ t] = P[Xt+u = j|Xt ] ∀i, j ∈ E et t, u ≥ 0. Une chaîne de Markov à temps continu est homogène (dans le temps) si les probabilités précédentes sont in dépendantes de t, c’est à dire si P[Xt+u = j|Xt = i] = P[Xu = j|X0 = i], ∀i, j ∈ E et t, u ≥ 0.

Nous ne nous intéressons désormais qu’aux processus homogènes!

Abdeslam Kadrani, INSEA–Rabat

Processus Stochastique

Probabilité et matrices de transition

Soit {X (t), t ≥ 0} une chaîne de Markov à temps continu homogène. La probabilité de transition de i à j au temps t est pij (t) = P[Xt = j|X0 = i]. La matrice de transition au temps t est P(t) = (pij (t))i,j . Par convention on pose P(0) = I .

Abdeslam Kadrani, INSEA–Rabat

Processus Stochastique

Propriétés des matrices de transition
Soit {P(t), t ≥ 0} la famille de matrices décrivant les lois d’évolution d’une chaîne de Markov à temps continu, alors chaque matrice P(t) est une matrice stochastique: pij (t) ≥ 0, ∀t ≥ 0 pij (t) = 1, ∀i ∈ E , ∀t ≥ 0 j∈E les équations de Chapman-Kolmogorov sont vérifiées: pij (t + s) = k∈E pik (t)pkj (s),

t, s ≥ 0, i, j ∈ E

soit en notation matricielle, P(t + s) = P(t)P(s)
Abdeslam Kadrani, INSEA–Rabat Processus Stochastique

Les chaînes régulières et l’hypothèse de régularité
Une chaîne de Markov est dite pure ou régulière, ou encore sans explosion si lim pii (t) = 1, i ∈ E , t→0 Hypothèse: pij (∆t) = qij ∆t + o(∆t), avec lim i, j ∈ E , j = i, ∆t > 0

o(∆t) = 0, de telle sorte que ∆t→0 ∆t qij = lim
∆t→0

pij (∆t) , ∆t

i, j ∈ E , j = i.

On a donc: oi (∆t) = 0. ∆t→0 ∆t De manière à rester homogène avec les