El Robots.txt no debe superar los 500KB

John Mueller recuerda en su g+ que Google tiene un limite de 500KB para procesar archivos robots.txt.

Por lo tanto es importante, además de tener una buena configuración del robots.txt, asegurarnos de que no sobrepasa los 500kb de peso ya que entonces GoogleBot dejaría de rastrear, o incluso podría confundirse y causar serios problemas en la salud de la web.

#102 de las cosas a tener en cuenta cuando se trabaja en un gran sitio web: Si tienes un archivo robots.txt gigante, recuerda que Googlebot sólo leerá los primeros 500kb. Si el archivo robots.txt es más largo, puede resultar en una línea que se trunca de manera no deseada. La solución más sencilla es limitar los archivos robots.txt a un tamaño razonable :-).

Más información de google sobre el robots.txt. De todas formas, un robots.txt de ese tamaño solo puede significar que tu web es un desastre o que es enorme, con millones de páginas útiles.

7 opiniones en “El Robots.txt no debe superar los 500KB”

  1. Si el Robots.txt es muy importante para correcta indexacion de contenidos relevante sobre todo en WordPress debido a que en un blog o sitio wordpress puedes entrar a un mismos post desde muchas partes, por ejemplo, desde categorías, autor, tags, etc…y eso Google y otros motores de busqueda pueden consirarlo como contenido duplicado.

    Jeje!

    Saludos Adseok!

  2. La información es correcta, pero te faltó agregar que puedes partir el archivo Robots.txt en partes, asi se suben dichas partes para completar, dificlmente tendrás un archivo Robots.txt de dicho peso, a menos que nunca agregues contenido nuevo en tu web

  3. Pero sería demasiado tener un robot.txt con esas dimensiones. Me hiciste pensar y me puse a revisar cuanto pesaba el mío. Menos mal que no sobrepasa esa cantidad de kb

  4. Apenas leí este articulo lo primero que hice fue averiguar como descargar el fichero robots , es que yo uso plataforma blogger

    Por suerte el mio pesa 1kb y si ps francamente seria como que un poco difícil que un robots supere las 500 kb, pero buen dato para tenerlo en cuenta

Deja un comentario

Tu dirección de correo electrónico no será publicada.