Solutions des Exercices du cours de Th´orie de l’Information et Codage e cours 1 du 8 f´vrier 2011. e
1. Dans le cas R = 1/2n, avec n ∈ N et pour un encodage du type: r´p´tition de chaque bit 2n fois e e sur le canal binaire symm´trique: donner une strat´gie de d´codage et calculer la probabilit´ e e e e d’erreur correspondante Pe . Comparer au cas R = 1/(2n − 1) ´tudi´ en cours quand p → 0. e e • D´codage par majorit´, en cas d’´galit´, tirage ` pile ou face. e e e e a Pe = k≥n+1 1 2n n 2n k p (1 − p)n . p (1 − p)2n−k + k 2 n pn qui correspond au cas ´tudi´ en cours. e e

• quand p → 0, on a Pe ∼

2n−1 n

2. On consid`re le cas R = 2n + 1 pour n ∈ N et l’encodage: j’envoie la majorit´ de chacun des e e blocs de 2n + 1 bits successifs ´mis par la source (comme d´crit en cours pour R = 3). Montrer e e que Pe = (1 − p)Q + p(1 − Q) avec Q= 2n −(2n+1) 1 2 . − n 2

Montrer que dans le cas R = 2n, une strat´gie similaire donne exactement la mˆme probabilit´ e e e d’erreur Pe . • Soit X1 , X2 , . . . une suite de v.a. ind´pendantes de Bernoulli de param`tre 1/2. Si e e 2n+1 Xi ≤ n, j’envoie 0 et si la transmission sur le canal se fait sans erreur, le d´codeur e i=1 2n+1 fait i=1 Xi erreurs, soit un nombre d’erreurs moyen de:
2n+1 2n+1

E i=1 Xi ; i=1 Xi ≤ n

= n k=1

1 2 k

2n+1

n

k k=1 2n + 1 . k
2n+1 n+1

2n+1 On a k=1 k 2n+1 = (2n + 1)22n = 2 k (2n + 1) 2n . On a donc n 2n+1 2n+1

2n+1 k

+ (n + 1)

et (n + 1)

2n+1 n+1

=

E i=1 Xi ; i=1 Xi ≤ n

=

1 2

2n+2

(2n + 1) 22n −

2n n

Q = (2n + 1) . 2 Par sym´trie, le nombre d’erreurs par bits est e 2 E 2n + 1
2n+1 2n+1

Xi ; i=1 i=1

Xi ≤ n

= Q.

Au final, si la transmission sur le canal est correcte (avec probabilit´ 1 − p), le nombre e moyen d’erreurs par bit est Q et sinon (probabilit´ p), le nombre moyen d’erreurs par bit e est 1 − Q, d’o` Pe = (1 − p)Q + p(1 − Q). u 1

• pour R = 2n, en appliquant la strat´gie: majorit´ sur des