Le crawl budget (ou « budget de crawl ») désigne la quantité de ressources qu’un moteur de recherche alloue à l’exploration d’un site web pendant une période donnée.
Il ne s’agit pas d’un temps fixe en minutes ou secondes, mais d’une limite dynamique basée sur :
- La capacité serveur du site (temps de réponse, erreurs),
- La fréquence de mise à jour du contenu,
- L’autorité du domaine (popularité, backlinks),
- La structure interne (maillage, profondeur, liens orphelins).
Un site performant, bien structuré et régulièrement mis à jour verra son crawl budget augmenter : Googlebot reviendra plus souvent et explorera plus de pages.
À l’inverse, un site lent, chargé de contenus dupliqués, d’URLs inutiles (paramètres, tags vides) ou de pages orphelines gaspillera son crawl budget sur des contenus sans valeur au détriment des pages importantes.
L’objectif du référencement technique n’est donc pas de « faire venir Google plus longtemps », mais de maximiser l’efficacité de chaque visite du robot en :
Utilisant un sitemap.xml propre et priorisé.
Éliminant les contenus superflus,
Optimisant la vitesse de chargement,
Renforçant le maillage interne vers les pages stratégiques,