El protocolo de robot.txt le indica a la Araña Web o “Web Crawler” de buscadores como Google.com los directorios que deben indexar. Es importante que tengamos el robot.txt en la raiz de nuestro servidor ya que esto evitara que los buscadores indexen contenido duplicado.
Como sabemos el contenido duplicado puede afectar el posicionamiento de nuestra pagina.
Este es el robot.txt que utiliza HelloTecnologia.com:
[code]
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
[/code]
Mas informacion en: Search Engine Optimization for WordPress.



noviembre 23rd, 2010
Kelvin Medina
Publicado en
Tags:
Hola Kevin:
Me sacaste de una gran duda con respecto en dónde se debe colocar el archivo. Gracias por compartir tu robot, lo cotejaré con el mío para aprovechar al máximo este protocolo.
Saludos Cordiales y éxito.
Atte. Laura Silva