Robots.txt

Fichier au format texte placé à la racine d’un site Web permettant de dialoguer avec les robots d’exploration des moteurs de recherche.

Ce fichier parcouru par les robots des moteurs de recherche indique les dossiers, les fichiers que le robot ne doit pas prendre en compte, ainsi que l’adresse du plan du site.

Robots-txt.com