Fichier robots.txt

Écrit par B. Bathelot, modifié le 17/10/2017
Glossaires : Référencement naturel / SEO Algos & indexation Référencement naturel / SEO Le SEO en 50 déf. Référencement naturel / SEO SEO technique

---

Le fichier robots.text est un fichier qui est placé à la racine d'un site Internet et qui permet de donner des instructions relatives à l'exploration des contenus d'un site par les robots d'exploration des moteurs.
L'utilisation du fichier robots.txt permet par exemple d'indiquer aux robots ou à une sélection de robots de ne pas indexer certaines rubriques (répertoires) d'un site web.Le fichier robots.txt permet également de limiter éventuellement la fréquence d'indexation pour économiser les ressources serveurs ou même de "s'opposer" à l'indexation du site.

Dans l'exemple ci-dessous, correspondant au fichier robots.txt utilisé pour ce site, le fichier empêche l'indexation des contenus d'administration Wordpress.



Dans l'exemple de contenu ci-dessous, le fichier robots.txt demande au robot d'indexation de Yahoo (user agent slurp) de ne pas indexer le site et demande aux autres robots d'ignorer les contenus du répertoire images.

User-agent: Slurp
Disallow: /
User-agent: *
Disallow:
Disallow: /images/

Enfin, voila ce qui se passe lorsque, lors d'une refonte on utilise le fichier robots.txt pour empêcher Google d'indexer la version en développement d'un site et qu'on oublie de le modifier lors de la mise en ligne ;-). Heureusement, Google Search Console prévient de la bévue et permet d'éviter une disparition de l'index et des SERP de Google !



 

Pour aller plus loin sur le sujet voir le site robots-txt.com

Proposer une modification