Entropie de Shannon

reprises et déplacements d’images / 21 – Ou l’information n’a rien à voir avec la signification. C’est autre chose, un modèle opérationnel d’un autre ordre, extérieur au sens et à la circulation du sens proprement dit. C’est l’hypothèse de Shannon : celle d’une sphère de l’information purement instrumentale, medium technique n’impliquant aucune finalité de sens, et donc qui ne doit pas être impliquée, elle non plus, dans un jugement de valeur. Sorte de code, comme peut l’être le code génétique

respectivement les densités de probabilité conjointe et marginales des Xi (dans la mesure où ces densités existent). Nous allons voir comment nous pouvons comparer la densité conjointe au produit des densités marginales. 3.2.2.1.1 Information mutuelle et entropie Un outil statistique très utile pour mesurer l’écart entre deux densités de probabilité est la divergence de Kullback-Leibner. Définition 3.1 (Divergence de Kullback-Leibner). Soient fX et gY deux densités de probabilité multidimensionnelles. La

méthode empirique, …), il est synonyme d’« observé » et qualifie les paramètres des distributions statistiques (moyenne empirique, variance empirique, …), par opposition aux paramètres « théoriques » correspondants des lois de probabilités. B C D entropie (entropy [of information source]) E F G H I Dans le cadre de la théorie de l’information, on appelle système simple la donnée d’un espace probabilisé (Ω, A, P) et d’une partition finie de cet espace, dont on note généralement Ai les évènements

résumés Une approche récente (Lin et al., 2006) propose d’utiliser une méthode dérivée de la théorie de l’information pour l’évaluation automatique de résumés. L’idée principale est de calculer une mesure de divergence (dans ce cas la mesure Jensen-Shannon divergence) entre deux distributions de probabilités, la première dérivée du résumé candidat et la seconde des résumés de référence. Cette méthode d’évaluation a été tes26 2.6. Conclusions tée sur le corpus DUC 2002, pour les tâches mono-document

codage qui en résulte est alors dit à longueur fixe. L’information élémentaire est représentée par deux valeurs équiprobables (0 ou 1, pile ou face...), la quantité d’information apportée par la connaissance de l’un des états est : Q = log2 2 = 1 shannon ou 1 bit. La quantité d’information Q s’exprime en shannon4 ou plus simplement en bit. Le bit est la quantité d’information qui correspond au lever de doute entre deux symboles équiprobables. Lorsque tous les états ne sont pas équiprobables, la quantité

d’éléments en interaction. Une ville, une cellule, un organisme sont donc des systèmes. L’approche systémique est issue de la convergence de la cyberné- tique de Norbert Wiener et Warren MacCulloch, de la théorie de l’information de Claude Elwood Shannon et 1. Ludwig von Bertalanffy, General System Theory: Foundations, Development, Applications, New York, George Braziller, 1968. 2. L’école de Palo Alto est un groupe de réflexion et de recherche en psychologie et psychosociologie ainsi qu’en sciences

. . . . . . . . 1. La pression atmosph´rique . . . . . e 2. Pression, volume et temp´rature . . . e 7.3. La machine ` vapeur . . . . . . . . . . a 7.4. La thermodynamique . . . . . . . . . . 1. Sadi Carnot . . . . . . . . . . . . ´ 2. Energie et entropie . . . . . . . . . 3. L’interpr´tation statistique et la th´orie e e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cin´tique e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

probabilistes. La source transmet des séquences de symboles d‟un alphabet donné (codage de l‟information). Le collecteur de données possède également un alphabet non obligatoirement identique. Le débit linéaire d‟un support de transmission (formule de Shannon) : D = W log2 (1 + ) D = débit binaire en bit/seconde W = bande passant (fréquence en Hz) ___________________________________________________________________ DI GALLO Frédéric Page 11/230 26/01/2012 Reseaux-et-Systemes _________

l’enquête postale. Les principaux inconvénients de l’enquête postale résident dans le temps qu’elle exige et dans son faible taux de réponse, et ce, à l’opposé de l’enquête par courriel qui ne demande pas beaucoup de temps et qui semble produire une entropie. Le faible taux de réponse est contourné par la signature de la lettre d’accompagnement par une personne crédible, la relance des répondants par l’envoi d’un deuxième questionnaire, sollicitant ceux qui n’ont pas encore répondu, l’usage de stimulants

exogènes. Puis la théorie des systèmes gagne rapidement le domaine de la mathématique avec Wiener qui, à la fin des années 1940, crée un nouveau champ, celui de la cybernétique, basé sur la rétroaction et l’autorégulation des systèmes. À la même époque, Shannon, ingénieur en télécommunications, publie sa théorie mathématique de la communication. Dans les années 1950, Ashby s’intéresse au couplage des systèmes ouverts et, au début des années 1960, Forrester tente d’appliquer la théorie des systèmes à la dynamique