EL nuevo robots.txt de Obama

Uno de los primeros cambios visibles con la llegada de Obama a la Casa Blanca es el que se ha producido en la página oficial www.whitehouse.gov, no solo en su aspecto, sino también en su robots.txt:

User-agent: *
Disallow: /includes/

Mientras que ayer tenía más de 2400 líneas. Un buen paso hacia el cambio.

Vía kottke.

Actualización: Kevin Fox, ex-empleado de Google y ahora en FriendFeed, comenta sobre este tema (vía Blogoscoped):

Ésto es un poco tonto, ya que el viejo robots.txt excluía las páginas los resultados de las búsquedas internas y las versiones redundantes de texto de las páginas html.

Para ésto es exactamente un archivo robots.txt, que es lo que dice la Guía para Webmasters de Google “Use robots.txt to prevent crawling of search results pages or other auto-generated pages that don’t add much value for users coming from search engines.”

Es inexplicable que un robots.txt de 8 años de antigüedad desaparezca por otro de un día de antigüedad. Y no es que en el robots.txt vayan a aparecer carpetas como ‘/secrets/top’ o ‘/katrina/response/’.

6 opiniones en “EL nuevo robots.txt de Obama”

  1. Un detalle, por si no te has dado cuenta de la noche a la mañana varios contenidos del site han desaparecido, ya que el site es totalmente nuevo, asi que como punto de arranque es obvio que las entradas antiguas de robots.txt ya no tienen sentido, de hecho por lo que parece hasta el buscador es diferente, asi que quiero creer que conforme se vaya evaluando el trafico que llega hacia los nuevos contenidos, robots.txt sera actualizado convenientemente.

Deja un comentario

Tu dirección de correo electrónico no será publicada.