Por cierto
para quienes usen Cloudflare, si hacen el cambio en su archivo de Robots.txt, y ven que siguen bloqueados los recursos, primero traten de entrar directamente a la direccion URL donde esta el "Robots.txt" y si no ven que se haya agregado las lineas que pusieron al editar, no olviden que deben
purgar el cache de ese dominio
desde Cloudflare, o
desde la App de Cpanel para quienes les incluye el
Railigun, también tiene opción de purgar el cache para cada dominio.
Después de
purgar cache de Cloudflare, verán que el Robots.txt se actualizara y es posible que ya no les muestre que sigue bloqueando recursos su sitio web.
Agregado: Este sitio tiene una herramienta Online que les dira más concretamente que recursos se estan bloqueando en su pagina
HTML:
https://www.feedthebot.com/mobile/
Ya me di cuenta que la mayoria de los "robots.txt" de los sitios de Wordpress, tienen las mismas 2 lineas agregadas:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Solo deben borrar la linea:
Disallow: /wp-includes/
Y quedara asi:
User-agent: *
Disallow: /wp-admin/
Con eso ya no marca recursos bloqueados por robots.txt
Dará este resultado:
Ver el archivo adjunto 56868
Sin quitar esa linea, la misma herramienta online me indicaba que tenia al menos 10 recursos css o js bloqueados por robots
