Entropie de Shannon

`a partir de la sortie du canal de restituer de fa¸con acceptable l’information fournie par la source. Bruit Source ✲ Codeur ✲ ❄ Canal ✲ D´ ecodeur ✲ Utilisateur Fig. 1.1 – Sh´ema d’un syst`eme de communication. Dans les ann´ees 40, C. E. Shannon a d´evelopp´e une th´eorie math´ematique appel´ee th´eorie de l’information qui d´ecrit les aspects les plus fondamentaux des syst`emes de communication. Cette th´eorie s’int´eresse `a la construction et `a l’´etude de mod`eles math´ematiques `a l’aide

Entropie ´ ˆ ´ Jerome Aze ´ Universite Paris 11 / LRI-CNRS 2009-2010 ´ ˆ ´ Jerome Aze (LRI-CNRS) Cours DataMining 2009-2010 1 / 10 Entropie Principe Plan 1 Entropie Principe ´ ˆ ´ Jerome Aze (LRI-CNRS) Cours DataMining 2009-2010 2 / 10 Entropie Principe Principe de base de l’entropie Mesure de l’information ´ Objectif : mesurer la quantite d’information utile ´ Exemple (extrait de wikipedia) ´ ´ ` Soit N boˆtes numerotees de 1 a N ı ´ Un individu

A. Ghammaz Travaux dirigés Canal et quantité d’information : le but de ces exercices est de préciser les outils utilisés pour modéliser le fonctionnement des canaux de transmission comme la théorie de l’information et l’utilisation du théorème de Shannon sur la capacité maximale d’un canal. Exercice 1 : Une source binaire génère de façon indépendante une suite de signaux rectangulaires de polarités différentes. Parmi les impulsions générées, 60 % ont une polarité positive et 40 % une polarité négative

communications selon Shannon Claude Elwood Shannon (30 Avril 1916 à Gaylord, Michigan - 24 février 2001) Théorie de l'information et codage Mohamed Lassaad AMMARI – 2010 Chapitre 1 - Le monde des communications selon Shannon 1 Plan ● Introduction Historique Quantité d'information – Entropie Le paradigme de Shannon Codage de source et codage de canal Théorèmes fondamentaux de Shannon Canal en théorie de l'information Thermodynamique, théorie de l'information et entropie ● ● ●

Rappel ● Théorie de l'information et codage ENISo - 2008 Introduction Historique Quantité d'information – Entropie Le paradigme de Shannon Codage de source et codage de canal Théorèmes fondamentaux de Shannon Canal en théorie de l'information Thermodynamique, théorie de l'information et entropie ● ● ● ● ● Chapitre 2 : Mesure quantitative de l'information ● ● Théorie de l'information et codage Mohamed Lassaad AMMARI – 2009 Chapitre 2 : Mesure quantitative de l'information

Types de canaux : paire torsadée, ligne électrique, Hertzien, fibre optique Types de sources : analogique (voix) ou numérique (données) Objectif Transmettre le maximum de données (débit maximale (probabilité d’erreur ) sous des limites théoriques (Shannon) des contraintes physiques (propagation) des contraintes économiques (énergie et complexité) ) avec une fiabilité Philippe Ciblat Introduction aux communications numériques 2 / 37 Introduction Théorie de l’information Conception d’un système

il est donc assez simple de démontrer une propriété de la suite de Fibonacci. III) ENTROPIE 1.Origine et définition du concept d'entropie Le concept de l'entropie fut introduit par Shannon en 1948 dans le cadre de la théorie de l'information. Intuitivement, l'entropie de Shannon peut être vue comme mesurant la quantité d'incertitude liée à un évènement aléatoire, ou plus précisément à sa distribution. Une autre manière de voir

efficaces Au-delà de la théorie des processus aléatoires et stochastiques, la présente étude va premièrement porter sur les limites de transmission de données sur canal discret bruité, concernant les travaux de Shannon. Il s’agira ensuite d’étudier la généralisation du second théorème de Shannon au cas des canaux à signaux continus en temps et en valeurs. La notion de distorsion est à la suite abordée avant d’embrayer sur les problèmes de codage de source, donc de compression de données. On voit

les vies (Sapin, Spini & Widmer, 2007). 1 Cette étude a été réalisée dans le cadre du projet FN-100012-113998 „Mining event histories: Towards new insights on personal Swiss life courses“ subventionné par le FNS. Les calculs notamment des entropies et distances d’optimal matching ainsi que la visualistion des clusters ont été réalisés avec le logiciel TraMineR (Gabadinho et al., 2008) également développé dans le cadre de ce projet. 2 La question est alors de savoir si les trajectoires

l'esthétique selon Abraham Moles........................................................................ 11 La théorie de Shannon......................................................................................13 Définitions de base.......................................................................................................................... 13 Les lois de Shannon .......................................................................................................................