Serveurs publics

A part l’exploration récursive, il existe d’autre moyen pour indexer le web et mesurer sa taille.

Cette autre méthode consiste à mesurer l’infrastructure informatique connectée à Internet pour héberger des sites Web. En effet, au lieu de suivre des hyperliens, cette méthode utilisera les noms de domaine enregistrés dans le Domain Name System et essayera de se connecter à tous les serveurs web potentiels.

Cette méthode est souvent utilisée par la société Netcraft, qui édite constamment les résultats de ses explorations, dont les mesures de popularité des serveurs http. Cette mesure porte plus sur l’utilisation des technologies du web que sur le Web lui-même, permettant notamment de trouver des sites publics qui ne sont pas liés au World Wide Web.