Définition : Crawler outil SEO

Les crawlers outils du SEO sont des robots d’exploration des contenus qui sont utilisés pour détecter des erreurs ou anomalies pouvant pénaliser l’indexation d’un site web.

Un crawler d’optimisation SEO permet par exemple de détecter les liens brisés ou de repérer d’éventuels contenus dupliqués.

Un crawler d’optimisation peut également permettre de recenser les URL et contenus présents au sein d’un site web et de les comparer aux contenus indexés par le crawler Googlebot à des fins d’optimisation du crawl.

Une présentation intéressante sur les crawlers utilisés en SEO :