Application to Markov Chains

Application aux chaînes de Markov
Introduction Supposez qu’il y a un système physique ou mathématique qui a n états possibles et à n’importe quel moment, le système est dans un et seulement un de ses n états. Supposez aussi que durant une période d’observation donnée, disons la k ième période, la probabilité que le système soit dans un état particulier dépend seulement de son statut à la période k-1. Un tel système s'appelle une chaîne de Markov ou processus de Markov. Clarifions cette définition avec l’exemple suivant. Exemple Supposez qu’une agence de location de voitures a trois branches à Ottawa: la branche du centre-ville (marqué A), la branche de l’est (marqué B) et la branche à l’ouest (marqué C). L'agence a un groupe de conducteurs de livraison pour servir ces trois branches. Le statisticien de l'agence a observé les faits suivants: 1. Des appels à la branche du centre-ville, 30% sont livrés au centre-ville, 30% sont livrés dans l'Est, et 40% sont livrés dans l'ouest 2. Des appels à la branche de l’Est, 40% sont livrés au centre-ville, 40% sont livrés dans l'est, et 20% sont livrés dans l'ouest 3. Des appels à la branche de l’Ouest, 50% sont livrés au centre-ville, 30% sont livrés dans l'est, et 20% sont livrés dans l'ouest: Après avoir effectué une livraison, un conducteur va à l'endroit le plus proche pour effectuer la prochaine livraison. De cette façon, l'endroit d'un conducteur actuel est déterminé seulement par son endroit précédent. La matrice suivante modélise le problème :

Cette matrice s’appelle la matrice de transition du système. Dans notre exemple, un état est la location d’un conducteur particulier dans le système à un moment particulier. L’entrée s ji de la matrice ci-dessus représente la probabilité de transition de l’état correspondant à i à l’état correspondant à j. (e.g., l’état correspondant à 2 est B) Pour faciliter les choses, nous supposerons qu'il faut à chaque conducteur le même temps d'effectuer