Robots.txt

Fichier au format texte placé à la racine d’un site Web qui permet de dialoguer avec les robots d’exploration des moteurs de recherche.

Ce fichier parcouru par les robots d’indexation des moteurs de recherche indique les dossiers, les fichiers que le robot ne doit pas prendre en compte, les zones à ne pas explorer.

Il mentionne souvent l’adresse du plan du site, l’adresse du flux RSS.

Le fichier robots.txt indique quelles parties du site web ils sont autorisés à explorer et à indexer et quelles parties ils ne doivent pas indexer.

Il peut exclure des pages web et des dossiers.

Exemple d’un fichier robots.txt

# Paths
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips
Disallow: /node/add/
Disallow: /search/

#Sitemap
Sitemap: https://definitions-digital.com/sitemap_index.xml

Robots-txt.com

Voir aussi : processus d’exploration