Ayuda: "robots.txt no es válido - 1 error encontrado".

  • Autor Autor trabajosweb
  • Fecha de inicio Fecha de inicio
trabajosweb

trabajosweb

Zeta
Verificado
Verificación en dos pasos activada
Verificado por Whatsapp
Verificado por Binance
¿Qué tal, compañeros?

Tengo una situación. Estoy trabajando un micronicho actualmente y revisándolo mediante la herramienta de PageSpeed me encontré con este error. Es un sitio web en WordPress y no entiendo por qué el error si se supone que el plugin de Yoast realiza correctamente esa parte del sitemap. Al acceder a la url del supuesto error me dice:

Disallow: /wp-content/uploads/wpforms/

# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow: /wp-json/
Disallow: /?rest_route=

Sitemap: https://omitido******.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK
Hacer clic para expandir...

¿Qué puedo hacer para solucionar dicho error? El documento del robots.txt redirecciona correctamente a la url del sitemap.

¡Gracias de antemano!
 
Hola, muy buenas.

Bueno, eso de que Yoast lo hace bien puede ser cuestionable. Para mi gusto depende del tamaño del sitio y de la "estrategia" que uses, tanto para robots.txt como para sitemaps

Así de primeras, quizás me equivoque, pero no entiendo el motivo de /wp-content/uploads/wpforms/. Te interesa por algo bloquear el acceso a esa carpeta en concreto? Si no es así, yo la desbloqueaba

Añadiría lo típico:

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sobre: Disallow: /wp-json/. No sé decirte. Pero por lo que he visto por internet parece ser que debe estar esa configuración

Para: Disallow: /?rest_route=. Lo cambiaría por: Disallow: /?rest_route=*

Además, así de primeras, aunque se supone que ya los tiene por defecto, le concretaría el acceso a los archivos CSS, JS, WOFF, WOFF2, TTF, JPG... o los que uses
 
Alpanpan dijo:
Hola, muy buenas.

Bueno, eso de que Yoast lo hace bien puede ser cuestionable. Para mi gusto depende del tamaño del sitio y de la "estrategia" que uses, tanto para robots.txt como para sitemaps

Así de primeras, quizás me equivoque, pero no entiendo el motivo de /wp-content/uploads/wpforms/. Te interesa por algo bloquear el acceso a esa carpeta en concreto? Si no es así, yo la desbloqueaba

Añadiría lo típico:

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sobre: Disallow: /wp-json/. No sé decirte. Pero por lo que he visto por internet parece ser que debe estar esa configuración

Para: Disallow: /?rest_route=. Lo cambiaría por: Disallow: /?rest_route=*

Además, así de primeras, aunque se supone que ya los tiene por defecto, le concretaría el acceso a los archivos CSS, JS, WOFF, WOFF2, TTF, JPG... o los que uses
Hacer clic para expandir...

El asunto es que no he agregado ni quitado nada de ese archivo, lo hizo automáticamente el plugin. Cómo agregar, quitar o qué agregar o quitar realmente no tengo ni idea de cómo hacerlo.
 
Prueba a cambiar el robots.txt desde el mismo Yoast. Prueba a poner y a ver que pasa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /*trackback
Disallow: /wp-login/
Disallow: /*feed

# Allow static files and images
Allow: / *.css*
Allow: / *.woff2*
Allow: / *.woff*
Allow: / *.ttf*
Allow: / *.js*
Allow: / *.png*
Allow: / *.gif*
Allow: / *.jpg*
Allow: / *.jpeg*
Allow: / *.svg*

Disallow: *?gclid=*
Disallow: *?sa=*
Disallow: *?pkw=*
Disallow: *?fbclid=*


#Sitemap
Sitemap: Sitemap: https://omitido******.com/sitemap_index.xml
 
Alpanpan dijo:
Prueba a cambiar el robots.txt desde el mismo Yoast. Prueba a poner y a ver que pasa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /*trackback
Disallow: /wp-login/
Disallow: /*feed

# Allow static files and images
Allow: / *.css*
Allow: / *.woff2*
Allow: / *.woff*
Allow: / *.ttf*
Allow: / *.js*
Allow: / *.png*
Allow: / *.gif*
Allow: / *.jpg*
Allow: / *.jpeg*
Allow: / *.svg*

Disallow: *?gclid=*
Disallow: *?sa=*
Disallow: *?pkw=*
Disallow: *?fbclid=*


#Sitemap
Sitemap: Sitemap: https://omitido******.com/sitemap_index.xml
Hacer clic para expandir...
Gracias por la info. Estuve revisando y no encontré en las opciones del plugin cómo modificar el sitemap que el mismo plugin generó. ¿O debe ser desde la edición del sitio?
 
Si no me equivoco con Yoast, al menos en la versión gratuita, no puedes modificar los sitemaps, si no que él los genera de manera automática al ir configurando las etiquetas nofollow o no index en las distintas páginas. Lo que puedes hacer es desactivar la creación del sitemap desde las configuraciones de Yoast (Yoast -> general -> características y buscas mapas del sitio XML y lo desactivas) para generarlo tú y después mandarlo a Google.
 
Yo uso Yoast y sólo tengo las siguientes líneas:

Insertar CODE, HTML o PHP: 
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.********com/sitemap_index.xml
 
Alpanpan dijo:
Si no me equivoco con Yoast, al menos en la versión gratuita, no puedes modificar los sitemaps, si no que él los genera de manera automática al ir configurando las etiquetas nofollow o no index en las distintas páginas. Lo que puedes hacer es desactivar la creación del sitemap desde las configuraciones de Yoast (Yoast -> general -> características y buscas mapas del sitio XML y lo desactivas) para generarlo tú y después mandarlo a Google.
Hacer clic para expandir...
Tengo la versión premium y desde el plugin no encontré dónde modificarlo. ¿Se podría hacer desde la edición de los documentos en el hosting?
ramones33 dijo:
Yo uso Yoast y sólo tengo las siguientes líneas:

Insertar CODE, HTML o PHP: 
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.********com/sitemap_index.xml
Hacer clic para expandir...
¿La agregaste tú mismo?
 
trabajosweb dijo:
Tengo la versión premium y desde el plugin no encontré dónde modificarlo. ¿Se podría hacer desde la edición de los documentos en el hosting?

¿La agregaste tú mismo?
Hacer clic para expandir...
No, es lo que agrega el plugin por defecto. Saludos
 
Pregunta ya que termine en este hilo. Debo indicar en el archivo robots.txt los diferentes sitemaps por idioma tambien?
 
ramones33 dijo:
Si, es lo mejor, y enviarlos desde Search Console también.
Hacer clic para expandir...
Muchas gracias por la info! tengo hecho las traducciones con WPML pero esta demorando muchisimo en empezar a posicionar KW e indexar
 
Hay que estar conectado o registrado para responder aquí.

Temas similares

cavernn
Google ha encontrado 1 error al intentar acceder a robots.txt
Respuestas
9
Visitas
1K
ramonjosegn
ramonjosegn
R
Problema al instalar WP - Ayuda con error encontrado
Respuestas
9
Visitas
703
wptutoriales
W
Atrás
Arriba