Définition : Robot d’indexation

Un robot d’indexation est un robot logiciel utilisé par les moteurs de recherche pour parcourir le réseau et les sites web afin d’archiver les pages web au sein des index de référencement.

Chaque moteur utilise un robot qui lui est propre et qui a son propre mode de fonctionnement (fréquence de visites, profondeur de visites, etc..) . Le robot d’indexation de Google est le Googlebot.

Pour qu’une page soit présente dans les résultats d’un moteur de recherche, il faut donc qu’elle soit d’abord visitée et indexée par le robot d’indexation. La première visite peut être généralement obtenue à partir d’une démarche de soumission auprès du moteur ou parce que le robot a eu accès à la page à partir d’un lien. Pour être référencée, une page doit donc être accessible pour les robots d’indexation.

Le principe de fonctionnement d’un robot d’indexation ou crawler issu d’un livre blanc référencement de la société Smile. Accès au livre blanc