Semrushbot est un robot d’exploration qui parcourt le web à la recherche de données nouvelles et actualisées.
Il utilise ces données pour aider les propriétaires de sites web à se comparer aux sites concurrents, à trouver des mots-clés, à rechercher des problèmes.
Il parcourt naturellement votre site web de la même manière que Googlebot, Ahrefsbot, MJ12bot (Majestic SEO) et Bingbot.
Semrushbot peut utiliser une grande partie de la bande passante de votre site web, ce qui peut dégrader l’expérience utilisateur et ralentir votre site.
Vous pouvez bloquer Semrushbot si vous n’utilisez pas Semrush et l’empêcher d’explorer votre site.
Par le fichier robots.txt
User-agent: SemrushBot
Disallow: /Par le fichier .htaccess
RewriteCond %{HTTP_USER_AGENT}
SemrushBot |