Définition : Robots.txt

Robots.txt est le nom du fichier texte placé à la racine d’un site web qui permet de donner des instructions aux robots d’indexation ou spiders des moteurs de recherche.

Le fichier robots.txt permet de bloquer l’accès à certains contenus qu’on ne souhaite pas voir référencés par les moteurs.

Pour plus de détails et des illustrations, voir fichier robots.txt.