Entropie
´ ˆ ´ Jerome Aze
´ Universite Paris 11 / LRI-CNRS

2009-2010

´ ˆ ´ Jerome Aze (LRI-CNRS)

Cours DataMining

2009-2010

1 / 10

Entropie

Principe

Plan

1

Entropie Principe

´ ˆ ´ Jerome Aze (LRI-CNRS)

Cours DataMining

2009-2010

2 / 10

Entropie

Principe

Principe de base de l’entropie
Mesure de l’information ´ Objectif : mesurer la quantite d’information utile ´ Exemple (extrait de wikipedia)
´ ´ ` Soit N boˆtes numerotees de 1 a N ı ´ Un individu A a cache un objet dans l’une des boˆtes ı Un individu B doit trouver cet objet
` ´ Il peut poser des questions a A qui doit repondre Oui ou Non ´ Chaque question a un cout (paye par B) ˆ

` Un individu C connaˆt la boˆte contenant l’objet et peut vendre l’information a ı ı B ´ Le nombre de questions necessaire pour trouver la boˆte va conditionner le ı ´ prix de l’information detenue par C ´ ´ ´ Il s’agit de la quantite d’information necessaire pour determiner la bonne ´ boˆte. Notons I cette quantite. ı

´ ˆ ´ Jerome Aze (LRI-CNRS)

Cours DataMining

2009-2010

3 / 10

Entropie

Principe

Mesure de l’information

Exemple
´ Si N = 1, I = 0. Il n’y a qu’une seule boˆte : aucune question n’est necessaire. ı

´ ˆ ´ Jerome Aze (LRI-CNRS)

Cours DataMining

2009-2010

4 / 10

Entropie

Principe

Mesure de l’information

Exemple
´ Si N = 1, I = 0. Il n’y a qu’une seule boˆte : aucune question n’est necessaire. ı ´ ´ Si N = 2, I = 1. On demande si la bonne boˆte est la boˆte n◦ 1. La reponse OUI ou NON determine ı ı ´ alors sans ambigu¨te quelle est la boˆte cherchee. ı´ ı

´ ˆ ´ Jerome Aze (LRI-CNRS)

Cours DataMining

2009-2010

4 / 10

Entropie

Principe

Mesure de l’information

Exemple
´ Si N = 1, I = 0. Il n’y a qu’une seule boˆte : aucune question n’est necessaire. ı ´ ´ Si N = 2, I = 1. On demande si la bonne boˆte est la boˆte n◦ 1. La reponse OUI ou NON determine ı ı ´ alors sans ambigu¨te quelle est la