Robots.txt

Écrit par B. Bathelot, modifié le 17/10/2017
Glossaires : Référencement naturel / SEO Algos & indexation Référencement naturel / SEO SEO technique

---

Robots.txt est le nom du fichier texte placé à la racine d'un site web qui permet de donner des instructions aux robots d'indexation ou spiders des moteurs de recherche.
Le fichier robots.txt permet de bloquer l'accès à certains contenus qu'on ne souhaite pas voir référencés par les moteurs.

Pour plus de détails et des illustrations, voir fichier robots.txt.

 

Proposer une modification