L e web est constitué de plusieurs milliards de documents. Les internautes peuvent utiliser les moteurs de recherche pour trouver une ressource parmi cette jungle. La méthodologie utilisée par les moteurs de recherche est présenté d’une matière simple dans cet article. Comment un moteur de recherche trouve les pages web?

L es moteur de recherche (Google, Yahoo ou encore Bing) utilisent des robots, intitulés crawlers ou spiders dans la langue de Shakespeare. Ces robots sont des processus informatique qui se content de lire une page web, d’y extraire les liens et d’aller visiter ultérieurement les liens trouvés. En suivant les pages, de liens en liens, ces robots sont capables de visiter pratiquement tout le web.
Malgré la puissance de ces crawlers, il y a certaines limitations : le web étant si grand, les robots ne peuvent tout indexer et mettre à jour rapidement. Selon le moteur de recherche et la méthodologie qui lui est associé, une page peut être revisitée quelque heure après sa publication ou plusieurs moi après.
Les modifications apportées sur un site web ne sont pas répertoriées instantanément sur les résultats d’un moteur de recherche. Il faut alors une autre visite des robots (peut-être une semaine plus tard)

Comment les pages sont sauvegardées ?

U ne fois qu’un robot à visité une page, il va l’enregistrer dans des énormes data-center. Ces derniers enregistrement ainsi des milliards et des milliards de pages web.
L’étape suivante consiste pour le moteur de recherche d’extraire les informations et de les indexer. Sachant que les robots ne sont que ces processus information, ils sont en général capables de lire uniquement le contenu textuel. Il est compliqué et fastidieux pour un processus informatique d’essayer de lire le contenu textuel incluant sur une image ou de reconnaitre les mots d’une bande son.
Les index ne listent cependant pas tous les mots. Les skip words (ou « stop words) désignent des petits mots très