Exploration et analyse d’un site Web par un robot de moteur de recherche (Google Bot, Bing Bot etc).
Les contenus sont récupérés, indexés et classés, les liens internes et externes traités selon leurs attributs :
rel="ugc" : marque les liens de contenu générés par l’utilisateur (CGU), tels que les commentaires, posts de forums.
rel="sponsored" : liens de parrainage, d’affiliation, publireportages, articles invités rémunérés, placement de liens
rel="nofollow" : marque un lien particulier, donnant juste un indice au robot de ne pas l’explorer. S’utilise seulement lorsque les valeurs d’attribut ugc ou sponsored ne s’appliquent pas.
Synonyme : crawling
Voir aussi : Crawl budget