Tu sitemap.xml en tu robot.txt

Hace unos meses, los tres principales buscadores, Google, Yahoo, MSM y Ask.com adoptaron un protocolo conjunto de sitemap, de tal manera que ya no es necesario crear un sitemap distinto para cada buscador.

Para ello crearon la página Sitemaps.org, donde se publican todos los datos referentes a este proyecto. En el blog oficial de Google para Webmasters, anuncian nuevas actualizaciones en los sitemaps.

Quieren hacernos más facil señalar a Google dónde está nuestro sitemap para que la indexación sea más rápida y automatizada. Para ello, ahora podemos señalar desde nuestro robot.txt la ubicación de nuestro sitemap.xml. Solo tenemos que añadir una línea similar a ésta al robot.txt:

Sitemap: http://www.mysite.com/sitemap.xml

Solo hay que asegurarse de incluir la URL completa del sitemap, incluido http://. No shablan de ello en sus blogs oficiales Google,
Yahoo!,
MSN Live Search,
Ask.com.

Este sistema le permite al robot de Google (y de los demás buscadores) encontrar y utilizar rápidamente el sitemap.xml sin enviarlo a través de su Herramientas para Webmasters, aunque lo recomindan por eso de tener a mano las estadísticas de las páginas indexadas en el índice de Google, enlaces, etc.

16 opiniones en “Tu sitemap.xml en tu robot.txt”

  1. Hola a todos,

    Llevo siguiendo este blog desde hace tiempo aunque nunca me había parado a comentar. Tengo una duda que me “ronda” desde hace tiempo. A ver si alguien me puede ayudar…

    De todos es sabido de la utilidad de que nuestro sitio tenga un sitemap. En el artículo se explica muy bien. Vale.

    ¿Pero qué pasa con, por ejemplo, una red social? ¿Cómo una red social va a tener un sitemap.xml? Imaginad una red social con miles de usuarios, foros, blogs, los post de los blogs, categorias, anuncios clasificados, tags, etc. Es imposible meter todo eso en un sitemap. ¿No?

    Luego… ¿es necesario siempre los sitemap? ¿O solo para determinados -pequeños- sitios como blogs?

    A ver si alguien me puede ayudar con estas dudas…

    Gracias!

  2. Hola a todos,

    una duda que tengo referente a este tema es si la ruta que indicamos en el robots.txt tiene que ser a un fichero (físico) o puede ser a un srcipt que genere el xml.

    Utilizo la extensión xmap para Joomla y ésta no tiene un sitemap.xml pero ofrece una url donde lo genera dinámicamente. ¿Me valdría?

    Muchas gracias por adelantado.

  3. Respondiendo a Abel.. claro que puedes enlazar a un script.. Lo único que tienes que hacer es que la terminación esté incluida dentro de tu htacess como para programar

Deja un comentario

Tu dirección de correo electrónico no será publicada.