Optimisation du budget de crawl Google
Écrit par B. Bathelot, modifié le 17/11/2021Glossaires : Référencement naturel / SEO SEO technique
Une démarche d'optimisation du budget crawl de Google peut théoriquement comporter deux voies. La première est d'essayer d'augmenter le budget de crawl attribué par Google et la deuxième est d'optimiser l'usage qui est fait de ce dernier.
Dans la pratique, comme il est très complexe d'augmenter par une démarche spécifique le budget alloué par Google, l'optimisation vise essentiellement à éviter que le budget soit "dépensé" inutilement pour des pages ou éléments (fichiers divers) dont l'indexation et le positionnement ne présentent pas d'intérêt.
Cette optimisation se fait notamment en évitant le crawl sur le duplicate content et en évitant l'indexation de contenus considérés comme inutiles en termes de SEO. L'utilisation de la balise disallow au sein du fichier robot.txt , la mise en place de dispositifs de cloaking ou l'obfuscation de liens sont par exemple des techniques d'optimisation du budget de crawl.
Ces techniques d'optimisation sont généralement mises en oeuvre après une étape d'analyse des logs.
Un petit webinar consacré à l'optimisation du budget de crawl :
Une autre présentation plus technique mais intéressante sur la démarche d'optimisation du crawl :