Voiture
4981 mots
20 pages
Rappel●
Théorie de l'information et codage
ENISo - 2008
Introduction Historique Quantité d'information – Entropie Le paradigme de Shannon Codage de source et codage de canal Théorèmes fondamentaux de Shannon Canal en théorie de l'information Thermodynamique, théorie de l'information et entropie
●
●
●
●
●
Chapitre 2 : Mesure quantitative de l'information
●
●
Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009
Chapitre 2 : Mesure quantitative de l'information
1
Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009
Chapitre 2 : Mesure quantitative de l'information
2
Plan
●
Introduction
●
Introduction Quantité d'information Information mutuelle Information mutuelle moyenne Entropie
○ ○
L'information a des aspects qualitatifs Une mesure Quantitative de l'information est-elle possible ? Théorie de l'information : Notion d'incertitude – mesure de l'inattendu (l'improbable)
○
●
●
●
●
●
●
Moins une évènement est probable, plus son observation est porteuse d'information
Entropie conjointe et entropie conditionnelle Information mutuelle et règle en chaîne
●
Théorie de l'information – théorie des communications Dans son célèbre article C. E. Shannon écrivit :
Le problème fondamental d'un système de communication est de reproduire à un point donné (destinataire), exactement ou approximativement, un message sélectionné à un autre point du système (source)
●
●
Principe de non-création d'information Entropie relative Conclusion
Chapitre 2 : Mesure quantitative de l'information 3
●
●
Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009
Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009
Chapitre 2 : Mesure quantitative de l'information
4
Introduction
●
Introduction
●
L'imprévisibilité est l'attribut essentiel de l'information Mesure de l'information : mesure de l'inattendu Quantité d'information