Robots.txt

Herramienta de Google para generar un robots.txt

Google ha añadido a Webmaster Tools una nueva herramienta: Generate Robots.txt. Una utilidad que nos servirá para crear, si es que todavía no lo tenemos, un archivo robots.txt para nuestro servidor.

Claro que en las opciones automatizadas sólo se incluyen los robots de Google, los del resto de servicios tendremos que teclearlos. Pero algo es algo.

Leer más »

Añade a robots.txt la localización de tu Sitemap

Hace algún tiempo Google facilitó a los webmasters y bloguers el envio de sus sitemaps, o mapas de sitio web, con el fin de mejorar el indexado. Luego Yahoo hizo lo mismo.
En ambos casos se requiere estar registrado en los servicios de ambos buscadores a tal efecto. En el caso de Google, Google Webmasters.
Pero eso [...]

Leer más »

Ejemplo de robots.txt para WordPress 2.x

El archivo robots.txt se usa para controlar la manera que tienen los buscadores de indexar nuestro sitio web. Por lo que respecta a Google, mediante robots.txt se puede evitar que indexe contenido duplicado y aumentar así las posibilidades de recibir más tráfico y visitas. Por lo menos eso es lo que comentan en Link Building [...]

Leer más »