Objectif
- Permettre un référencement ciblé.
- Améliorer le guidage des outils de recherche.
- Diminuer l'impact énergétique lié à la consultation du site.
- Améliorer la prise en compte des contenus par les moteurs de recherche et outils d’indexation
Mise en œuvre
Pour définir les répertoires, fichiers ou types de fichiers non indexables, utiliser les instructions user-agent
et disallow
dans un fichier texte unique appelé robots.txt
, placé dans le répertoire racine du site.
Alternativement, pour agir au niveau d'une page spécifique, utiliser dans celle-ci la balise meta name="robots" content="attribut1, attribut2"
:
- attribut1 peut prendre les valeurs
index
(indexer cette page) ounoindex
(ne pas indexer cette page) ; - attribut2 peut prendre les valeurs
follow
(suivre les liens contenus dans cette page) ounofollow
(ne pas suivre les liens).
En savoir plus: meta
sur MDN
Contrôle
À partir de l'adresse URL de votre site :
- Accéder tout d'abord à l'adresse du fichier robots.txt, à la racine du site, en tapant par exemple http://example.com/robots.txt dans la barre d'adresse du navigateur ;
- Vérifier la présence du fichier
robots.txt
placé dans le répertoire racine du site ; - Vérifier la validité de la syntaxe du fichier
robots.txt
à l'aide des indications données par les moteurs de recherche
En l'absence de fichier robots.txt
vérifier la présence et la validité de la balise meta name="robots" content="attribut1, attribut2"
dans chaque page.
Auteur Opquast - Consulter la licence
Opquast start: descubre la calidad web
Opquast start es el primer módulo de la certificación Opquast. Solo te llevará una hora y te permitirá descubrir la gestión de la calidad web y nuestra plataforma de formación. Regístrate a continuación, recibe un enlace de activación por correo electrónico y tu acceso está abierto durante 15 días. El acceso a Opquast start es gratuito y sin compromiso.