Colaboramos con elcomercio.es
El archivo robots.txt se usa para controlar la manera que tienen los buscadores de indexar nuestro sitio web. Por lo que respecta a Google, mediante robots.txt se puede evitar que indexe contenido duplicado y aumentar así las posibilidades de recibir más tráfico y visitas. Por lo menos eso es lo que comentan en Link Building Blog.
Pero ¿como se configura un archivo robots.txt? En AskApache nos ofrecen un ejemplo de las instrucciones que podemos incluir en él si usamos WordPress 2.x.
Herramienta de Google para generar un robots.txtGoogle ha añadido a Webmaster Tools una nueva herramienta: Generate Robots.txt. Una utilidad que nos servirá para crear, si es que todavía no lo tenemos, un archivo robots.txt para nuestro servidor. Claro que en las …
Añade a robots.txt la localización de tu SitemapHace algún tiempo Google facilitó a los webmasters y bloguers el envio de sus sitemaps, o mapas de sitio web, con el fin de mejorar el indexado. Luego Yahoo hizo lo mismo. En ambos casos …
Comentarios