Détermination de politiques extrémales dans des processus de décision markoviens de l’expérimentation à la théorie

Stage de MIM1 - ENS de Lyon Thomas Hugel encadré par Claudine Picaronny et Laurent Fribourg ENS de Cachan - Laboratoire de Spécification et Vérification 1er juin - 16 juillet 2004

2

TABLE DES MATIÈRES

Table des matières
1 Présentation du problème 1.1 Processus de décision markovien . . . . . . . . 1.2 Le problème du plus court chemin stochastique 1.3 Algorithme d’Israeli et Jalfon . . . . . . . . . . 1.4 PRISM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 3 3 4 4 4 5 5 6 6 7 7 7 8 8

2 Programme réalisé 2.1 Rapport entre temps et coût . . . . . . . . . . . . . . . . . . . 2.2 Algorithme de base . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Implémentation . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Guide d’utilisation 3.1 Paramètres . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Résultats expérimentaux 4.1 Anneau Israeli-Jalfon . . . . . . . . . . . . . . . . . . . . . . . 4.2 Equivalence entre anneau à 3 jetons et triangle à 1 jeton . . . 4.3 Analogie entre triangle et rectangle . . . . . . . . . . . . . . .

5 Indice de Gittins ; grade 12 5.1 Calcul du grade sur un segment . . . . . . . . . . . . . . . . . 12 5.2 Calcul de l’antigrade sur un segment . . . . . . . . . . . . . . 13 5.3 Algorithme de Katta et Sethuraman . . . . . . . . . . . . . . 14 6 Interprétation des résultats 6.1 Préliminaire : le segment . . . . . . . . . . . . . . . . . . 6.2 Israeli-Jalfon pour q = 1 . . . . . . . . . . . . . . . . . . 6.3 Résolution du rectangle absorbant par indice de Gittins 6.3.1 Rectangle absorbant : le plus court chemin . . . . 6.3.2 Rectangle absorbant : le plus long chemin . . . . 6.4 Israeli-Jalfon pour q > 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .