Définition : Optimisation du budget de crawl Google

Une démarche d’optimisation du budget crawl de Google peut théoriquement comporter deux voies. La première est d’essayer d’augmenter le budget de crawl attribué par Google et la deuxième est d’optimiser l’usage qui est fait de ce dernier. Dans la pratique, comme il est très complexe d’augmenter par une démarche spécifique le budget alloué par Google, l’optimisation vise essentiellement à éviter que le budget soit « dépensé » inutilement pour des pages ou éléments (fichiers divers) dont l’indexation et le positionnement ne présentent pas d’intérêt.

Cette optimisation se fait notamment en évitant le crawl sur le duplicate content  et en évitant l’indexation de contenus considérés comme inutiles en termes de SEO. L’utilisation de la balise disallow au sein du fichier robot.txt ou la mise en place de dispositifs de cloaking sont par exemple des techniques d’optimisation du budget de crawl. Ces techniques sont généralement mises en oeuvre après une étape d’analyse des logs.

Une présentation technique mais intéressante sur la démarche d’optimisation du crawl :