CCBot est le robot d’exploration de Common Crawl une organisation à but non lucratif qui explore le web et met gratuitement ses archives et ses ensembles de données à la disposition du public.
Les archives collectées par CCBot sont utilisées par des chercheurs, des développeurs et des entreprises pour des applications diverses, telles que la recherche d’information, le traitement du langage naturel et l’analyse du web.
Désactiver CCBot dans votre fichier robots.txt
User-agent: CCBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /