Hace algún tiempo Google facilitó a los webmasters y bloguers el envio de sus sitemaps, o mapas de sitio web, con el fin de mejorar el indexado. Luego Yahoo hizo lo mismo.
En ambos casos se requiere estar registrado en los servicios de ambos buscadores a tal efecto. En el caso de Google, Google Webmasters.
Pero eso no sería necesario si incorporamos a nuestro archivo robots.txt la siguiente línea:
Sitemap: http://www.yoursite.com/yoursitemapname.xml
Con ello estamos indicando a los buscadores la situación de nuestro Sitemap, al que accederán automaticamente, sin que tengamos que enviarselo.
Vía | Technology Evangelist
El protocolo Sitemap se ha convertido ya en un estandar para los 4 grandes buscadores: G, Y!, MSN y ASK. Este último, por ejemplo, facilita el envío del sitemap a través de pings de URLs con el formato: http://submissions.ask.com/ping?sitemap=http://www.tusitio.com/sitemap.xml