Regla n° 219 - La raíz del sitio web contiene instrucciones para los robots de indexación
Los robots son programas informáticos que analizan y navegan por tus páginas. Los más conocidos son los de los motores de búsqueda, que indexan los contenidos. Estos robots pueden recibir instrucciones para guiarlos en su indexación, basta con poner un archivo llamado robots.txt en la raíz de tu sitio y respetar una sintaxis particular en este archivo.
Objetivo
- Permitir el posicionamiento específico.
- Mejorar la orientación de las herramientas de búsqueda.
- Disminuir el impacto energético relacionado con la consulta del sitio web.
- Mejorar la forma en la que el contenido es identificado por los motores de búsqueda y las herramientas de indexación.