Chaine De Markov

 linéaire  :  modélisa0on  des   problèmes,  de  la  resolu0on  graphique  au   algorithme  du  simplexe.  Problème  de  la  dualité  et   méthode  dual-­‐simplexe.     •  Modèle  de  Markov  :  Simula0on,  illustra0ons  et   applica0ons.   Objec0fs  généraux   •  L’objec0f  premier  de  ce  cours  est  d’acqurir  une   connaissance  approfondie  de  certaines   techniques

LEÇON 9 Marches aléatoires Niveau : Terminale S Prérequis : aucun 1 Chaînes de Markov Chaîne de Markov I Définition 9.1 Une chaîne de Markov est une suite de variables aléatoires (Xn , n ∈ N) qui permet de modéliser l’évolution dynamique d’un système aléatoire : Xn représente l’état du système à l’instant n. Propriété de Markov Propriété 9.2 L’évolution future du système ne dépend du passé qu’à travers de sa valeur actuelle. Autrement dit, conditionnement à Xn , (X0

Processus décisionnels de Markov Sommaire * Introduction * 1 Définition * 1.1 Définition intuitive * 1.2 Hypothèse de Markov * 1.3 Définition formelle * 1.4 Exemple de MDP * 1.5 Remarques * 2 Notion de politique * 3 Problèmes possibles * 4 Références | Introduction Le modèle des processus décisionnels de Markov (MDP) est un modèle très étudié en intelligence artificielle. Il offre un formalisme pour modéliser et résoudre des problèmes de planification

comporte au total : 11 pages Document principal (10 pages, dont celle-ci) Documents complémentaires (1 pages) : annexe Travail suggéré au candidat : • • Analyser le document en relevant les principales propriétés mathématiques associées aux chaînes de Markov discrètes présentées dans ce dossier. Expliquer ou critiquer quelques affirmations énoncées dans le document. Attention : si le candidat préfère effectuer un autre travail sur le dossier, il lui est expressément recommandé d’en informer le jury

indépendante des conditions initiales. Cette particularité est à mettre en regard avec les suites à récurrence non linéaire (suite logistique) qui peuvent, elles, être très sensibles aux conditions initiales. Dans une chaîne de Markov, cela prouve que la chaîne converge vers une chaîne stationnaire. Utilisation[modifier | modifier le code] Les suites arithmético-géométriques se rencontrent dans la modélisation de certains flux de population (apport fixe et fuite proportionnelle). Exemple : apport

journée. 1. Si une machine tombe en panne, elle est réparée la nuit suivante et on ne peut réparer qu’une machine par nuit. (a) Montrer que (Xn )n∈N est une chaîne de Markov dont on indiquera l’ensemble des états et la matrice de transition. (b) Représenter graphiquement cette chaîne. (c) Déterminer la loi invariante associée à cette chaîne de Markov. 2. Quelle sera la matrice de transition de (Xn )n∈N si on suppose maintenant qu’une machine en panne n’est réparée que le lendemain et qu’on ne peut réparer

d’une étude théorique. 1 1.1 Présentation du problème Processus de décision markovien Un processus de décision markovien (MDP) est un ensemble S d’états s ayant chacun une liste d’actions associée A(s), chaque action a déterminant une chaîne de Markov pa sur S. Si F est un ensemble d’états finaux, on note Es [S] le temps moyen pour aller de s à F (éventuellement +∞). Un chemin est une suite s0 , a0 , s1 , a1 , . . . , sn alternant les états et les actions et telle que ∀i, si ∈ S, ai ∈ A(si

Loterie 52 23 3. Chaine de Markov 52 23 3. 96. Chaine de Markov, N. Calédonie 2009 52 24 3. 97. Tirages successifs, Asie 2008 53 24 3. 98. Hérédité, Polynésie sept 2007 53 25 3. 99. Chaîne de Markov, Liban 2007 54 25 3. 100. Chaîne de Markov, Asie 2006 55 25 3. 101. Markov, binomiale, N. Calédonie 2003 55 26 3. 102. Ramassage (Markov), C. étrangers 2004 56 26 3. 103. Génétique (Markov) 56 26 3. 104. Urnes et jetons (Markov) 57 27 3. 105. Feux rouges (Markov), Asie 2002 58

interarrivées sont distribuées exponentiellement (E[T ] = 1/λ) Les temps de service sont distribués exponentiellement (E[S] = 1/µ) La file ne comporte qu’un serveur et est de longueur infinie Discipline de service : FIFO. Intensité du trafic : ρ = λ/µ La chaîne de Markov est ergodique si ρ < 1 12 / 45 Stephan Robert, HEIG-Vd Modélisation stochastique, Files d’attente File M/M/1 (3) Outline Introduction Probabilité d’état π0 (voir le cours au chapitre 6, p. 108) : Files d’attente élémentaires λ µ πi =

évolutions aient été tenues secrètes, l’algorithme de départ a été publié. Nous étudierons ici la modélisation mathématique qui a permis à Google de se placer en tête des moteurs de recherche. Chaînes de Markov L’outil mathématique le mieux adapté pour travailler sur les graphes orientés est la chaîne de Markov. Elle permet de décider quel lien suivre à partir d’une page web, sans se soucier du chemin parcouru jusqu’alors. On peut représenter les probabilités d’aller à une page j lorsque l’on se trouve