Error en robots.txt impide indexación de Google en WordPress

  • Autor Autor Ro101
  • Fecha de inicio Fecha de inicio
R

Ro101

Lambda
Buenas,

Hace unos minutos recibí el siguiente mensaje de Google para mis dos sitios principales con plataforma Wordpress:

To: Webmaster of BLA BLA BLA 🙂 ,

Google systems have recently detected an issue with your homepage that affects how well our algorithms render and index your content. Specifically, Googlebot cannot access your JavaScript and/or CSS files because of restrictions in your robots.txt file. These files help Google understand that your website works properly so blocking access to these assets can result in suboptimal rankings.

El tema es que use la herramienta de webmaster tools para probar el robots.txt y no me muestra ningún error. En el robots que veo en WMT tengo solo lo siguiente:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.blablabla.com/sitemap.xml.gz

Como ven no estoy bloqueando el /wp-contents

Alguien que me de una mano?? 🙁

EDITO CON POSIBLE SOLUCION

Luego de analizar los sitios y probar diferentes alternativas, la única que me funcionó para pasar todos los chequeos fue quitar del robots.txt la línea Disallow: /wp-includes. Si bien mi sitio no hace uso de js creí necesario realizar el cambio porque todos sabemos como es Google. Si se les metió en la cabeza revisar este tipo de cosas, no van a estar viendo si lo utilizamos o no en nuestras webs, van directamente a penalizar el sitio en las SERPS.
 
Última edición:
Dentro del includes hay archivos Javascript que seguro lo estás bloqueando.

Si haces una prueba desde la prueba de optimización para móviles, verás que tienes archivos bloqueados.

Lo que puedes hacer es poner debajo de:

Disallow: /wp-includes/
Allow: /wp-includes/js/

Ahora bloquearás todo el wp-includes menos la carpeta js.

Saludos!
 

Gracias Raul!! Voy a probarlo!! :encouragement:

- - - Actualizado - - -


Agregué lo que me comentas y si trato de probar con el test de robots.txt miurl.com/wp-includes/js/ me dice que no está permitido. Debería sacar el Disallow? Es esto seguro? Gracias!!
 
No deberías tener problemas de bloqueo, dado que le damos acceso a los bots. Haz hecho la prueba de móviles? Te dice que sigue bloqueando??

Yo te he dado esas instrucciones suponiendo que es eso lo que te bloquea. Pero así a ciegas.
 
A mi también me llego, lo mas raro que haciendo referencia a dos webs que no tienen ningún cambio de diseño y nada hace dos años...
 
raulgonzalez dijo:
No deberías tener problemas de bloqueo, dado que le damos acceso a los bots. Haz hecho la prueba de móviles? Te dice que sigue bloqueando??

Yo te he dado esas instrucciones suponiendo que es eso lo que te bloquea. Pero así a ciegas.
Hacer clic para expandir...

Si en mi robots pongo:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-includes/js/

Sitemap: http://www.blablabla.com/sitemap.xml.gz

Y utilizo la prueba con http://www.blablabla.com/wp-includes/js me dice que está bloqueado, me marca en rojo la línea de /wp-includes/ es como si no tomase la del Allow por ya tener el Disallow en el /wp-includes

- - - Actualizado - - -

Jorguito dijo:
A mi también me llego, lo mas raro que haciendo referencia a dos webs que no tienen ningún cambio de diseño y nada hace dos años...
Hacer clic para expandir...

Mismo caso que el mío, no cambio el diseño hace 3 años :neglected:
 
De todas maneras si esos JS no afectan al diseño de la web, no pasa nada. Pero si son Javascript que necesite la web para cargar bien, en la prueba que hace Google puede que no lo detecte.

Si la web carga bien, no le haría mucho caso.
 
A todo el mundo le está llegando ese dichoso mensaje... Yo creo que es solo un falso error como ya pasó antes con otro tema.

Enviado desde mi AZUMI A50c+ mediante Tapatalk
 
A mi me pasó lo mismo, fui a Webmater Tools y todo estaba correcto, me pasó en 2 webs solamente.
 
A mí también me ha llegado. ¿Sera un error temporal?
 
Me llego el mensaje, pero no le veo relevancia, creo que como dicen los compañeros arriba es un error, incluso accediendo a la página en cache desde el buscador no hay cambio alguno, si ese es el caso no debería haber problemas, he de suponer.
 
Tengo el mismo problema.
 
que horror tengo el aviso en todos los sitios y todo desbloqueado :sorrow:
 
Yo leí en el foro de Google que algunos están agregando estas lineas al Robots.txt:

Allow: /*.css*
Allow: /*.js*

Cuando menos el comprobador de Robots de Google, no indica error, al agregar dichas lineas.

Agregado: Note que en el comprobador de Google Webmaster Tools llamado "Explorar como Google" antes al enviar los temas manualmente decía "Completada Parcialmente", pero después de agregar las lineas Allow: /*.css* y Allow: /*.js* al Robots.txt, ahora al terminar de comprobar una url dice "Completada", Señal que indica que probablemente si se limitara antes la indexación de temas, y con las nuevas lineas, queda mas completo el escaneo de las url.
 
Última edición:
a mi también me acaba de llegar el dichoso mensaje aunque no veo nada extraño con mi robots.txt, no obstante, el mensaje que me ha llegado dice lo siguiente:

El robot de Google no puede acceder a los archivos CSS y JS de Enlace eliminado

Los sistemas de Google han detectado un problema con tu página principal que afecta a la forma cómo nuestros algoritmos renderizan e indexan tu contenido. En concreto, el robot de Google no puede acceder a tus archivos JavaScript o CSS debido a restricciones establecidas en el archivo robots.txt. Estos archivos permiten a Google interpretar que tu sitio web funciona correctamente, de modo que bloquear el acceso a estos elementos puede dar lugar a clasificaciones inadecuadas.


¿Alguien ha podido resolverlo?
 
metanle esto y sale!, dentro de su robots.txt

Allow: /*.js
Allow: /*.css
#por si les bloquea imagenes
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif

De primera antes que las demás lineas y listo 😛7:

#

Y si el p@†@ robot sigue reacio y vota errores le metes:

#le añanden la carpeta o subcarpeta
#Allow: /mipanel/*.js

Allow: /*.png
Allow: /*.js
Allow: /*.css
Allow: /*.png
Allow: /*.js
Allow: /*.css
Allow: /plugins/*.js
Allow: /plugins/*.css
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Allow:/wp-includes/*.png
Allow: /wp-content/cache/*.js
Allow: /wp-content/cache/*.css
Allow: /wp-content/cache/minify/*.js
Allow: /wp-content/cache/minify/*.css
Allow: /wp-content/cache/minify/000000/*.js
Allow: /wp-content/cache/minify/000000/*.css
 
Última edición:
quedaría así:

User-agent: *
Allow: /*.js
Allow: /*.css
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/

¿Estoy en lo correcto?
 
es correcto pero si te sigue votando alerta agregas las subcarpeta como escribí arriba :encouragement:
 
Por cierto para quienes usen Cloudflare, si hacen el cambio en su archivo de Robots.txt, y ven que siguen bloqueados los recursos, primero traten de entrar directamente a la direccion URL donde esta el "Robots.txt" y si no ven que se haya agregado las lineas que pusieron al editar, no olviden que deben purgar el cache de ese dominio desde Cloudflare, o desde la App de Cpanel para quienes les incluye el Railigun, también tiene opción de purgar el cache para cada dominio.
Después de purgar cache de Cloudflare, verán que el Robots.txt se actualizara y es posible que ya no les muestre que sigue bloqueando recursos su sitio web.

Agregado: Este sitio tiene una herramienta Online que les dira más concretamente que recursos se estan bloqueando en su pagina
HTML: 
https://www.feedthebot.com/mobile/

Ya me di cuenta que la mayoria de los "robots.txt" de los sitios de Wordpress, tienen las mismas 2 lineas agregadas:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Solo deben borrar la linea:

Disallow: /wp-includes/

Y quedara asi:

User-agent: *
Disallow: /wp-admin/


Con eso ya no marca recursos bloqueados por robots.txt

Dará este resultado:



Sin quitar esa linea, la misma herramienta online me indicaba que tenia al menos 10 recursos css o js bloqueados por robots
 
Última edición:
Hay que estar conectado o registrado para responder aquí.
Menú
Acceder
Registro