Voiture

Disponible uniquement sur Etudier
  • Pages : 20 (4981 mots )
  • Téléchargement(s) : 0
  • Publié le : 1 mai 2011
Lire le document complet
Aperçu du document
Rappel


Théorie de l'information et codage
ENISo - 2008

Introduction Historique Quantité d'information – Entropie Le paradigme de Shannon Codage de source et codage de canal Théorèmes fondamentaux de Shannon Canal en théorie de l'information Thermodynamique, théorie de l'information et entropie











Chapitre 2 : Mesure quantitative de l'information



●Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009

Chapitre 2 : Mesure quantitative de l'information

1

Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009

Chapitre 2 : Mesure quantitative de l'information

2

Plan


Introduction


Introduction Quantité d'information Information mutuelle Information mutuelle moyenne Entropie
○ ○

L'information a desaspects qualitatifs Une mesure Quantitative de l'information est-elle possible ? Théorie de l'information : Notion d'incertitude – mesure de l'inattendu (l'improbable)














Moins une évènement est probable, plus son observation est porteuse d'information

Entropie conjointe et entropie conditionnelle Information mutuelle et règle en chaîne



Théorie del'information – théorie des communications Dans son célèbre article C. E. Shannon écrivit :
Le problème fondamental d'un système de communication est de reproduire à un point donné (destinataire), exactement ou approximativement, un message sélectionné à un autre point du système (source)





Principe de non-création d'information Entropie relative Conclusion
Chapitre 2 : Mesure quantitativede l'information 3





Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009

Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009

Chapitre 2 : Mesure quantitative de l'information

4

Introduction


Introduction


L'imprévisibilité est l'attribut essentiel de l'information Mesure de l'information : mesure de l'inattendu Quantité d'informationapportée par la réalisation d'un évènement
Incertitude(U)
incertitude épreuve réalisation de l'évènement temps Incertitude - Information



La notion d’information est liée à la notion de surprise et d’incertitude :




avant l’évènement, il existe une certaine quantité d’incertitude sur cet évènement après la réalisation de l’évènement, il existe un gain en quantité d’information surcet évènement cette quantité d’information correspond à la “résolution” de l’incertitude de départ la quantité d’information ne dépend que des statistiques de la source

Information (I)
Information = incertitude nulle







Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009

Chapitre 2 : Mesure quantitative de l'information

5

Théorie de l'information et codageMohamed Lassaad AMMARI – 2009

Chapitre 2 : Mesure quantitative de l'information

6

Introduction


Introduction


Source d'information : siège d'évènements aléatoires qui constituent le message émis Source discrète : alphabet latin, disque dur, etc. Source continue : TV, radio, etc.

Nous supposons
○ ○

La source est discrète et finie (alphabet fini) La source est aléatoire : àquoi servirait-il de transmettre un message s'il est connu à l'avance de son destinataire ? Source est stationnaire : son fonctionnement est indépendant de l'origine des temps choisi La source est sans mémoire Canaux aléatoires (perturbations aléatoires) Le destinataire qui dispose du message reçu bruité fait des hypothèses quant au message émis et choisit le plus vraisemblable






●Message : réalisation particulière parmi les données de la source
○ ○ ○

Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009

Chapitre 2 : Mesure quantitative de l'information

7

Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009

Chapitre 2 : Mesure quantitative de l'information

8

Introduction
Espace probabilisé discret
● ●

Quantité...
tracking img