Fichier au format texte placé à la racine d’un site Web qui permet de dialoguer avec les robots d’exploration des moteurs de recherche.
Ce fichier parcouru par les robots d’indexation des moteurs de recherche indique les dossiers, les fichiers que le robot ne doit pas prendre en compte, ainsi que l’adresse du plan du site.
Le fichier robots.txt indique quelles parties du site web ils sont autorisés à explorer et à indexer et quelles parties ils ne doivent pas indexer.
Exemple d’un fichier robots.txt
# Paths
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips
Disallow: /node/add/
Disallow: /search/
#Sitemap
Sitemap: https://definitions-digital.com/sitemap_index.xml