Hemos hablado en varias ocasiones de Sitemaps, la forma de decirle de una forma sencilla a los buscadores de qué contenidos disponemos en nuestras webs/blogs y cuándo ha sido modificado.

El tema es que además de crear un archivo XML en formato sitemap, debías indicarle a Google dónde tienes tu sitemap y a Yahoo también decirle en que dirección web está ese Sitemap.

Ahora vía el archivo robots.txt se le puede indicar a Google, Yahoo, Ask, MSN Live Search dónde tenemos nuestro fichero Sitemap.

robots.txt es un archivo que se coloca en el raiz de tu web, por ejemplo el mío está en www.galder.net/robots.txt y que cuando las arañas de los buscadores, esos pequeños robots que rastrean por Internet en busca de nuevos contenidos, acceden a una web, lo leen con el fin de saber el webmaster qué les deja leer, y qué no, y una serie de información. Ahora vía una línea en nuestro robots.txt. Da igual dónde la colocaremos:

Dónde www.midominio.com es el domnio que usas, y sitemaps.xml es el archivo de Sitemap.

Ya comenté el pequeño éxito que me parecía que los grandes buscadores se uniesen para facilitar un estándar de envío de datos desde las webs único.

A día de hoy además de que Google use ya sitemaps, Yahoo también los usa, y Ask también. A este último se le puede indicar cuál es nuestra web de sitemap, visitando la URL http://submissions.ask.com/ping?sitemap=URLCompletaDeNuestroSiteMap

MSN Live Search dice que todavía no las usan pero que las usarán y que mirarán en nuestros robots.txt cuándo vayan a usar Sitemaps.

Vía Dirson.

Technorati Tags: robots.txt, sitemaps, standar, google, ask, yahoo, msn, live