Définition : Crawler moteur

Le crawler moteur est le robot logiciel utilisé par les moteurs de recherche pour parcourir le réseau et les sites web de lien en lien afin d’archiver au sein des index de référencement les pages web parcourues. Chaque moteur utilise un robot ou spider qui lui est propre et qui laisse une signature qui permet d’identifier son passage au niveau des logs d’un site web.

Le crawler moteur peut prendre des instructions relatives à l’exploration et à l’indexation d’un site web au niveau du fichier robot.txt et du sitemap.

Le crawler le plus connu et le plus pris en compte est naturellement le Google bot.

Le principe de fonctionnement d’un crawler issu d’un livre blanc référencement de la société Smile. Accès au livre blanc

Share on FacebookTweet about this on TwitterShare on LinkedIn