Ajuda com o Robots.txt

  • Autor Autor VaMpE
  • Data de início Data de início
Tradução em andamento: em alguns minutos este tópico estará em português. Por enquanto, o conteúdo está no original em espanhol. Ver original
VaMpE

VaMpE

Iota
Domainer
Verificado
Verificación en dos pasos activada
Hola amigos, recien estoy haciendo cambios en un sitio y quiero optimizarlo lo mejor que pueda! y esta vez me sucedio algo curioso.

Resulta que me recomendaron usar un Robots.txt (que aunque dice que no sirve me dijeron ponlo no pierdes nada!)
Y bien pues agregue el robots.txt con lo siguiente:
HTML:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Y resulta que hoy checando mi sitio me encuentro con esto:
No se dispone de una descripción de este resultado debido a robots.txt. (Adjunto imagen)

Asi lo busque en google: "site:http://chatdemexico.com"

busqueda-google.webp

La verdad no se que es lo que este fallando en mi sitio pero al parecer no es nada bueno!

Podrian hecharme una mano y decirme que estoy haciendo mal?
 
Foi útil? Participe da conversa

Com sua conta grátis você pode responder, mandar mensagem privada ao autor e comprar com Saldo retido: o pagamento é liberado quando você recebe o combinado.

Leva 30 segundos · você volta a este tópico ao terminar
Yo lo tengo así:

Inserir CODE, HTML ou PHP:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
 
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
 
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
 
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
 
# digg mirror
User-agent: duggmirror
Disallow: /
 
El caracter de robots.txt es bloquear por tanto Allow: no tiene sentido, lo que no esta bloqueado lo rastreará

Mi consejo por experiencia y según lo dice el propio google, al bot le gusta espiar por lo que te recomiendo esta configuración como ves, no bloqueo las busquedas (en mi caso por la cantidad de post de mi web no lo tomo como generador de contenido duplicado):

User-agent: *
# No olvides colocar Disallow:
Disallow:
Disallow: /wp-*/
# En el caso que desees no indexar las tags (en este caso intercambia tags x categorias ambas no)
Disallow: /tag/
Disallow: /*rss$
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

# Agrega la ruta a tu sitemap
Sitemap: http://www.tudominio.com/sitemap.xml
 
Ayuda con este tema que se debe poner con para problemas con adsense.
Adsense me indica que coloque esto

User-agent: Mediapartners-Google
Disallow:

aunque veo que existen más funciones.
Donde se colocan estos robots en blogger??
 
Entra a las configuraciones de blogger y dale clic donde dice habilitar personalización de robots.txt
Si mal no recuerdo por ese medio lo puedes modificar.

PD: creo que se pondría asi:
User-agent: Mediapartners-Google
Allow: /
 
Disallow: /*?*
Disallow: /*?

Ese yo no lo pondría queda muy ambiguo con comodines. Y lo que le sucedió es bien raro ya que solo decía que no indexara solo dos directorios.
 
Voltar
Topo