Mémoire sur les chaîne de Markov :
André Andreevich Markov (1856-1922) un mathématicien russe.il étudia à l'Université d'État de Saint-Pétersbourg en 1874 sous la tutelle de Tchebychev et en 1886, il devient membre de l'Académie des Sciences de Saint-Pétersbourg. Ses travaux sur la théorie des probabilités l'ont amené à mettre au point les chaînes de Markov qui l'ont rendu célèbre. Ceux-ci peuvent représenter les prémices de la théorie du calcul stochastique.
Chaine de Markov en temps discret:

Définition:

Les processus stochastiques : définition et classification

Définition: Un processus stochastique {X_{t},t∈T} est une collection de variables aléatoires indexées par un paramètre t et définies sur un même espace de probabilités (Ω,F,P). La variable X_{t} représente l'état du processus au temps t et l'ensemble de toutes les valeurs possibles pour cette variable est appelée l'espace des états du processus et sera noté S. Classification: Un processus stochastique dont l'ensemble des états S est fini ou dénombrable est appelé une chaîne. Un processus est à temps discret lorsque l'ensemble T est fini ou dénombrable.

Les chaînes de Markov finies et homogènes en temps discret:

Définitions:
Définition:
Une chaîne de Markov à temps discret est un processus stochastique {X_{n},n=0,1,...} permet de modéliser l'évolution dynamique d'un système aléatoire au cours du temps discret défini sur un espace d'états connu S que l'on supposera fini ou dénombrable et vérifiant la propriété de Markov; qui est indiquons qu'une suite de Markov a la propriété que connaissant X_{n}, on peut oublier le passé pour prédire l'avenir son evolution future ne dépend pas du passé qu'au travers de sa valeur actuelle. un processus stochastique (X_{n})_{n} à valeurs dans S est appelé une chaîne de Markov si pour tout n , la loi conditionnelle de X_{n} sachant X₀,X₁,...,X_{n-1} est égale à la loi conditionnelle sachant X_{n-1} ie