Th´orie et th´ories de l’Information e e
Qq ´l´ments de : ee Information, complexit´ et hasard Jean-Paul Delahaye e revus par Pierre Bernhard et disponibles aussi sur )i(nterstices

Oct08

Vous avez dit information ?
Dans la suite : 00000 00000 00000 00000 00000 00000 00000 00000 il y a sˆrement moins d’information que dans la suite : u 26535 89793 23846 26433 83279 50288 41971 69399 qui est plus complexe mais . . pourquoi ? Serait-ce que la 2`me suite e est (complexit´ al´atoire) : e e sans ordre, sans r´gularit´, al´atoire, chaotique ? e e e

ou (complexit´ organis´e) e e organis´, fortement structur´, riche en information ? e e

Vous avez dit information ?
Il se trouve que : 26535 89793 23846 26433 83279 50288 41971 69399 est la suite des d´cimales de π ` partir de la sixi`me (apr`s 14159). e a e e Distinguons donc bien : - Un contenu brut en information qui ne d´pend pas du sens. e - La valeur d’une information d´pend du but fix´. e e avec deux grandes th´ories (selon le but) : e - Th´orie probabiliste de l’information (Shannon / thermodynamique) e - Th´orie algorithmique de l’information (Kolmogorov / Bennett) e en lien avec : l’informatique th´orique, les neurosciences computationnelles etc.. e

Vous avez dit information ?

Contenu brut en information
-1- Le contenu brut en information d’un bool´en e (1/0 vrai/faux oui/non yin/yang) 1. C’est l’“atome” d’information : le “bit”. -2- Le contenu en information d’une valeur v ∈ {1, N} (digits (N = 10), lettre de l’alphabet (N = 26), ..) est log2 (N).
C’est le nombre de bits pour “coder” la valeur, en coh´rence avec -1e

-3- Le contenu brut en information de n ´l´ments “ind´pendants” ee e est la somme des contenus bruts. mais inf´rieure si il y a de la redondance (compression) e mais sans valeur si il n’y a aucun lien entre les ´l´ments ! ee
- C’est le nombre minimal de questions oui/non a poser ` pour trouver la valeur donn´e ! e

Vous avez dit information ?

Contenu probabiliste en