Le fichier robots.txt placé à la racine du site est valide.

Description
Une erreur dans le fichier robots.txt peut avoir des conséquences dramatiques sur le référencement de votre site.


Conseil
Le fichier robots.txt est le premier document visité par les moteurs de recherche quand ils "crawlent" un site.

Il doit être placé à la racine du site (www.monsite.com/robots.txt). Dans ce document, il est possible d'indiquer les éventuelles sections du site que les moteurs ne doivent pas indexer. Il est également possible de spécifier par exemple les moteurs que vous autorisez à indexer le site.

Un site ne disposant d'aucun fichier robots.txt ne sera pas pénalisé : en cas d'absence de ce fichier, le moteur de recherche estimera avoir le droit d'indexer le site. Il est toutefois préférable de placer un fichier robots.txt valide et pertinent à la racine de votre site et de bien s'assurer que personne ne le modifie sans votre autorisation.


Exemple
User-agent: *
Disallow : /test/

Cet exemple de fichier robots.txt est configuré correctement et indique que le contenu du répertoire "test" ne doit pas être indexé.

Attention : ne pas confondre "Disallow: /" et "Disallow:".
"Disallow: /" permet d'exclure toutes les pages du site (aucune page ne sera référencée).
"Disallow:" signifie en revanche que le moteur de recherche peut indexer le site entier.

Bonnes pratiques connexes

• Modèle de document (doctype) et référencement.
  Il est recommandé de respecter le modèle de document indiqué (xhtml transitionnel, xhtml strict...) également du point de vue du référencement.