Ayuda con el Robots.txt

  • Autor Autor VaMpE
  • Fecha de inicio Fecha de inicio
VaMpE

VaMpE

Iota
Domainer
Verificado
Verificación en dos pasos activada
Hola amigos, recien estoy haciendo cambios en un sitio y quiero optimizarlo lo mejor que pueda! y esta vez me sucedio algo curioso.

Resulta que me recomendaron usar un Robots.txt (que aunque dice que no sirve me dijeron ponlo no pierdes nada!)
Y bien pues agregue el robots.txt con lo siguiente:
HTML:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Y resulta que hoy checando mi sitio me encuentro con esto:
No se dispone de una descripción de este resultado debido a robots.txt. (Adjunto imagen)

Asi lo busque en google: "site:http://chatdemexico.com"

busqueda-google.webp

La verdad no se que es lo que este fallando en mi sitio pero al parecer no es nada bueno!

Podrian hecharme una mano y decirme que estoy haciendo mal?
 
Yo lo tengo así:

Insertar CODE, HTML o PHP:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
 
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
 
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
 
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
 
# digg mirror
User-agent: duggmirror
Disallow: /
 
El caracter de robots.txt es bloquear por tanto Allow: no tiene sentido, lo que no esta bloqueado lo rastreará

Mi consejo por experiencia y según lo dice el propio google, al bot le gusta espiar por lo que te recomiendo esta configuración como ves, no bloqueo las busquedas (en mi caso por la cantidad de post de mi web no lo tomo como generador de contenido duplicado):

User-agent: *
# No olvides colocar Disallow:
Disallow:
Disallow: /wp-*/
# En el caso que desees no indexar las tags (en este caso intercambia tags x categorias ambas no)
Disallow: /tag/
Disallow: /*rss$
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

# Agrega la ruta a tu sitemap
Sitemap: http://www.tudominio.com/sitemap.xml
 
Ayuda con este tema que se debe poner con para problemas con adsense.
Adsense me indica que coloque esto

User-agent: Mediapartners-Google
Disallow:

aunque veo que existen más funciones.
Donde se colocan estos robots en blogger??
 
Entra a las configuraciones de blogger y dale clic donde dice habilitar personalización de robots.txt
Si mal no recuerdo por ese medio lo puedes modificar.

PD: creo que se pondría asi:
User-agent: Mediapartners-Google
Allow: /
 
Disallow: /*?*
Disallow: /*?

Ese yo no lo pondría queda muy ambiguo con comodines. Y lo que le sucedió es bien raro ya que solo decía que no indexara solo dos directorios.
 
Atrás
Arriba