Share

Approfondir

Qualité Web le livre

Livre Qualité Web

Acheter

212 - The site’s root contains instructions for web crawlers.

Objectif
  • Enable targeted referencing.
  • Improve guidance for search tools.
  • Reduce the energy impact related to the consultation of the site.
  • Improve the way content is taken into account by search engines and indexing tools.
Mise en œuvre

Pour définir les répertoires, fichiers ou types de fichiers non indexables, utiliser les instructions user-agent et disallow dans un fichier texte unique appelé robots.txt, placé dans le répertoire racine du site.

Alternativement, pour agir au niveau d'une page spécifique, utiliser dans celle-ci la balise <meta name="robots" content="attribut1, attribut2" /> où :

  • attribut1 peut prendre les valeurs index (indexer cette page) ou noindex (ne pas indexer cette page) ;
  • attribut2 peut prendre les valeurs follow (suivre les liens contenus dans cette page) ou nofollow (ne pas suivre les liens).
Contrôle

À partir de l'adresse URL de votre site :

  • Accéder tout d'abord à l'adresse du fichier robots.txt, à la racine du site, en tapant par exemple http://example.com/robots.txt dans la barre d'adresse du navigateur ;
  • Vérifier la présence du fichier robots.txt placé dans le répertoire racine du site ;
  • Vérifier la validité de la syntaxe du fichier robots.txt à l'aide des indications données dans le site http://robots-txt.com/

En l'absence de fichier robots.txt, vérifier la présence et la validité de la balise <meta name="robots" content="attribut1, attribut2" /> dans chaque page, par exemple à l'aide de la fonctionnalité Voir les balises Meta (menu Information) de la Web Developer Toolbar, dans Firefox.

Découvrez la certification Opquast

Rejoignez la communauté des certifiés Opquast. Plus de 5000 professionnels formés à la qualité Web. Au programme une formation en ligne de 14h, un examen de 1h30, un badge et un score à mettre sur votre cv et votre profil linkedin.

Commander en ligne