Robots.txt

Aunque no se le haga caso, siempre, existen buscadores muy educados que buscan este fichero ya catan sus órdenes. En pocas palabras, este fichero de texto, ubicado siempre en el root del sitio web y con su nombre en minúsculas, nos permite especificar lo que queremos que un bot o crawler indexe y lo que no de nuestra web. Además, nos permite indicarle dónde está ubicado el fichero sitemap.xml.

Fuentes:

Anuncios

Debes haber iniciado sesión para comentar.

A %d blogueros les gusta esto: