Crawlabilité site web
Écrit par B. Bathelot, modifié le 17/10/2017Glossaires : Référencement naturel / SEO Algos & indexation Référencement naturel / SEO SEO technique
Dans le contexte du SEO, la crawlabilité d'un site web est un néologisme désignant la capacité de ses pages à être parcourues par le robot d'indexation des moteurs de recherche et plus particulièrement par le crawler de Google. Pour un site ou une page web, sa "crawlabilité" est la condition "sine qua non" de sa présence dans l'index et les pages de résultats de Google.
Un des objectifs du SEO technique est donc de s'assurer que les pages que l'on souhaite voir être référencées favorablement puissent être crawlées correctement et qu'elles le soient le plus souvent possible (notion de gestion du budget crawl). Il s'agit donc de s'assurer de l'absence d'éléments de blocage pouvant gêner ou empêcher le crawl et de favoriser cette crawlabilité par des instructions données à Google (sitemap, robot.txt, etc.).
Dans certains cas, l'optimisation de la crawlabilité peut constituer à s'assurer que certaines pages considérées comme inutiles ne seront pas crawlées. On bloque alors l'accès au robot.
Proposer une modification