Définition : Crawler

Un crawler ou spider est un robot logiciel en charge de l’exploration des sites et contenus Internet. Les crawlers indexent et analysent les contenus explorés en partant des résultats d’un moteur (le plus souvent Google), à partir d’une liste, par soumission ou en suivant tous les liens rencontrés.

Les contenus et l’étendue de l’exploration varient selon la nature des crawlers et leurs objectifs.

Il existe de nombreux types de crawler utilisés dans le domaine du marketing Internet.

les crawlers des moteurs de recherche
les crawlers outils utilisés pour l’optimisation des contenus
– les crawlers utilisés pour les pratiques de black hat SEO
– les crawlers destinés à la veille prix
– ….

Share on FacebookTweet about this on TwitterShare on LinkedIn


Commentaires (1)

Les commentaires sont fermés