Processus de décision markovien

Processus décisionnels de Markov Sommaire * Introduction * 1 Définition * 1.1 Définition intuitive * 1.2 Hypothèse de Markov * 1.3 Définition formelle * 1.4 Exemple de MDP * 1.5 Remarques * 2 Notion de politique * 3 Problèmes possibles * 4 Références | Introduction Le modèle des processus décisionnels de Markov (MDP) est un modèle très étudié en intelligence artificielle. Il offre un formalisme pour modéliser et résoudre des problèmes de planification

Détermination de politiques extrémales dans des processus de décision markoviens de l’expérimentation à la théorie Stage de MIM1 - ENS de Lyon Thomas Hugel encadré par Claudine Picaronny et Laurent Fribourg ENS de Cachan - Laboratoire de Spécification et Vérification 1er juin - 16 juillet 2004 2 TABLE DES MATIÈRES Table des matières 1 Présentation du problème 1.1 Processus de décision markovien . . . . . . . . 1.2 Le problème du plus court chemin stochastique 1.3 Algorithme d’Israeli

logicielles comme LPSolve. Toutefois, ce type de logiciel ne fonctionne que pour une classe de problèmes assez rigide (notamment avec des conditions nécessaires de linéarité). Surtout, l’utilisation de la Programmation Dynamique dans les problèmes de décision dans le temps est tout à fait justifiée. De fait, nos problèmes se traduisent, comme on le verra dans la partie 2, de manière très naturelle en termes d’état, de gain de transition et de système dynamique contrôlé : nos systèmes sont clairement régis

système informatique où deux processus s’exécutent en parallèle et partagent une ressource critique (par exemple, deux utilisateurs qui se partagent une imprimante), on veut vérifier que, quelque soit l’état du système, la ressource critique ne peut être utilisée par plus d’un processus (exclusion mutuelle). Cette propriété est une propriété d’invariance. De même, dans un réseau de communication, si une machine M1 attend un message d’une machine M2 pour poursuivre son processus et en même temps la machine

aléatoires. On considère un ensemble de variables évoluant dans [1, T]. La probabilité jointe peut être codée par un réseau statique avec variables avec une possibilité d’avoir une structure ou des paramètres différents à chaque instant t. Si le processus est stationnaire, les hypothèses d’indépendance et les probabilités conditionnelles associées sont identiques pour tous les temps t. Dans ce cas un RBD peut être représenté par un réseau bayésien dont la structure est répétée à chaque instant t.

plan d’étude et le contexte du stage : 24 B. Les processus à forte valeur ajoutée où la digitalisation et l’intelligence artificielle peuvent avoir un impact positif : 26 1. Processus opérationnel : 27 a) Étudier les Offres digitales du groupe SR CONSEIL : 28 b) Etudier la confidentialité et la sécurité des logiciels : 32 c) Obstacles pouvant ralentir la transformation digitale au sein du cabinet et solutions proposées pour y remédier: 33 2. Processus de soutien : 37 a) Service RH : 37 b) Service administrative :

regroupées Pr. Chakib EL Bekkali 40 Conception et Réalisation d'un nano-satellite universitaire Pr. Mohamed Karim 41 Commande optimale des véhicules hybrides Pr. Mohamed Karim / Pr. M. Benbrahim 42 Commande neuronale des systèmes à sauts markoviens, application aux éoliens. Pr. Mohamed Karim/ Pr. M. Benbrahim 43 Optimisation d’un Système de Conversion Solaire Pr. Mohamed Karim 44 Etude de la stabilité et la stabilisation en temps fini des systèmes à retards… Pr. Houcine Tissir

d’approvisionnement et de leur planification est également abordé. Par exemple, (Ould-Louloy et Dolgui, 2001) ont étudié cette problématique dans un environnement où les délais d’approvisionnement sont incertains. Pour ce faire ils ont utilisé une modélisation markovienne. Cependant la simulation n’est pas le seul moyen d’arriver à ces résultats. Par exemple (Bollon, 2001) a modélisé des politiques de pilotage d’atelier grâce à une formalisation mathématique. Ce qui lui permet de choisir une solution optimale. Mais

linéaire combinatoire (entiers) 17 Algorithme du B&B 17 Illustration de l’algorithme 18 Exemple de modélisation : Localisation d’usines 18 Processus aléatoire : chaînes de Markov 19 Généralités 19 Classification des états 20 Comportement asymptotique et distribution stationnaire 20 Décisions et Chaînes de Markov 21 Exemple du confectionneur 21 Décisions multiples 22 Exemple du confectionneur (suite et fin) 22 Programmation linéaire Exemple classique Soit une firme produisant du A et du

.................................................................... 4 I. PRESENTATION DU PROBLEME DE LA GESTION INTEGREE DE LA PLANIFICATION ET DE LA DISTRIBUTION ....................................................................... 5 I.1 DECISIONS A PRENDRE CONCERNANT DES PROBLEMES DE GIPD .............................................. 6 I.2 CHAMPS D’APPLICATION DES PROBLEMES DE LA GIPD ............................................................ 7 I.3 LA RECHERCHE SUR LES PROBLEMES DE LA