Demander aux robots de ne pas indexer un site internet
By Pierre-Alain B on Wednesday, December 26 2012, 09:11 - Permalink
Il y a certains sites que l'on ne souhaite pas voir apparaître sur les moteurs de recherche - il faut donc expliquer aux moteurs de recherche qu'ils n'ont pas être indexés.
Facile, il suffira de créer un fichier robots.txt à la racine du site avec ce contenu :
User-agent: * Disallow: /