TD Theorie Information 2015
Ecole d’Ingénierie et d’Innovation de Marrakech E2IM
Pr. A. Ghammaz
Travaux dirigés
Canal et quantité d’information : le but de ces exercices est de préciser les outils utilisés pour modéliser le fonctionnement des canaux de transmission comme la théorie de l’information et l’utilisation du théorème de Shannon sur la capacité maximale d’un canal.
Exercice 1 :
Une source binaire génère de façon indépendante une suite de signaux rectangulaires de polarités différentes. Parmi les impulsions générées, 60 % ont une polarité positive et 40 % une polarité négative.
1- Quelle est l’entropie de la source HS ?
2- Si la redondance relative de la source est donnée par rs = 1 – Hs/Hsmax, quelle est sa valeur ici ?
3- Expliquer brièvement ce que représente cette redondance du pont de vue informationnel, et que faut-il faire pour modifier ceci ?
Rappel : Soit H(X) ou H (p1, p2, p3, …….,pM), l’entropie d’une variable aléatoire X définie par sa loi de probabilité p(X=xi)=pi. On vérifie les propriétés suivantes liées à la nature de la fonction log :
A/ L’entropie H(X) est toujours positive ou nulle.
B/ Si H(X) = 0, la variable aléatoire X est presque sûrement égale à une quantité certaine xio.
C/ L’entropie H(X) est maximale pour la distribution uniforme pi = 1/M, on aura donc toujours : H(X) <logNM.
Exercice 2 :
Quelle est la capacité d’un canal de transmission ayant une bande de fréquence 15 kHz eu un rapport signal à bruit de 35dB ?
Quelle est le nombre de niveaux et de bit correspondant maximum que l’on peut alors discriminer.
Rappel : la capacité maximale d’un canal de transmission est (théorème de Shannon) : C = B log (1 + Ps/N) avec Ps/N = Rapport signal à bruit ; B est la bande passante. Le nombre de niveaux maximum est : m = (1 + Ps/N)1/2.