Ayuda: "robots.txt no es válido - 1 error encontrado".

trabajosweb · 2 Dic 2022

¿Qué tal, compañeros?

Tengo una situación. Estoy trabajando un micronicho actualmente y revisándolo mediante la herramienta de PageSpeed me encontré con este error. Es un sitio web en WordPress y no entiendo por qué el error si se supone que el plugin de Yoast realiza correctamente esa parte del sitemap. Al acceder a la url del supuesto error me dice:

Disallow: /wp-content/uploads/wpforms/

# START YOAST BLOCK
# ---------------------------
User-agent: *
Disallow: /wp-json/
Disallow: /?rest_route=

Sitemap: https://omitido******.com/sitemap_index.xml
# ---------------------------
# END YOAST BLOCK

¿Qué puedo hacer para solucionar dicho error? El documento del robots.txt redirecciona correctamente a la url del sitemap.

¡Gracias de antemano!

Alpanpan · 2 Dic 2022

Hola, muy buenas.

Bueno, eso de que Yoast lo hace bien puede ser cuestionable. Para mi gusto depende del tamaño del sitio y de la "estrategia" que uses, tanto para robots.txt como para sitemaps

Así de primeras, quizás me equivoque, pero no entiendo el motivo de /wp-content/uploads/wpforms/. Te interesa por algo bloquear el acceso a esa carpeta en concreto? Si no es así, yo la desbloqueaba

Añadiría lo típico:

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sobre: Disallow: /wp-json/. No sé decirte. Pero por lo que he visto por internet parece ser que debe estar esa configuración

Para: Disallow: /?rest_route=. Lo cambiaría por: Disallow: /?rest_route=*

Además, así de primeras, aunque se supone que ya los tiene por defecto, le concretaría el acceso a los archivos CSS, JS, WOFF, WOFF2, TTF, JPG... o los que uses

trabajosweb · 2 Dic 2022

Alpanpan dijo:
Hola, muy buenas.

Bueno, eso de que Yoast lo hace bien puede ser cuestionable. Para mi gusto depende del tamaño del sitio y de la "estrategia" que uses, tanto para robots.txt como para sitemaps

Así de primeras, quizás me equivoque, pero no entiendo el motivo de /wp-content/uploads/wpforms/. Te interesa por algo bloquear el acceso a esa carpeta en concreto? Si no es así, yo la desbloqueaba

Añadiría lo típico:

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sobre: Disallow: /wp-json/. No sé decirte. Pero por lo que he visto por internet parece ser que debe estar esa configuración

Para: Disallow: /?rest_route=. Lo cambiaría por: Disallow: /?rest_route=*

Además, así de primeras, aunque se supone que ya los tiene por defecto, le concretaría el acceso a los archivos CSS, JS, WOFF, WOFF2, TTF, JPG... o los que uses

El asunto es que no he agregado ni quitado nada de ese archivo, lo hizo automáticamente el plugin. Cómo agregar, quitar o qué agregar o quitar realmente no tengo ni idea de cómo hacerlo.

Alpanpan · 14 Dic 2022

Prueba a cambiar el robots.txt desde el mismo Yoast. Prueba a poner y a ver que pasa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /*trackback
Disallow: /wp-login/
Disallow: /*feed

# Allow static files and images
Allow: / *.css*
Allow: / *.woff2*
Allow: / *.woff*
Allow: / *.ttf*
Allow: / *.js*
Allow: / *.png*
Allow: / *.gif*
Allow: / *.jpg*
Allow: / *.jpeg*
Allow: / *.svg*

Disallow: *?gclid=*
Disallow: *?sa=*
Disallow: *?pkw=*
Disallow: *?fbclid=*

#Sitemap
Sitemap: Sitemap: https://omitido******.com/sitemap_index.xml

trabajosweb · 14 Dic 2022

Alpanpan dijo:
Prueba a cambiar el robots.txt desde el mismo Yoast. Prueba a poner y a ver que pasa:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /*trackback
Disallow: /wp-login/
Disallow: /*feed

# Allow static files and images
Allow: / *.css*
Allow: / *.woff2*
Allow: / *.woff*
Allow: / *.ttf*
Allow: / *.js*
Allow: / *.png*
Allow: / *.gif*
Allow: / *.jpg*
Allow: / *.jpeg*
Allow: / *.svg*

Disallow: *?gclid=*
Disallow: *?sa=*
Disallow: *?pkw=*
Disallow: *?fbclid=*

#Sitemap
Sitemap: Sitemap: https://omitido******.com/sitemap_index.xml

Gracias por la info. Estuve revisando y no encontré en las opciones del plugin cómo modificar el sitemap que el mismo plugin generó. ¿O debe ser desde la edición del sitio?

Alpanpan · 16 Dic 2022

Si no me equivoco con Yoast, al menos en la versión gratuita, no puedes modificar los sitemaps, si no que él los genera de manera automática al ir configurando las etiquetas nofollow o no index en las distintas páginas. Lo que puedes hacer es desactivar la creación del sitemap desde las configuraciones de Yoast (Yoast -> general -> características y buscas mapas del sitio XML y lo desactivas) para generarlo tú y después mandarlo a Google.

ramones33 · 16 Dic 2022

Yo uso Yoast y sólo tengo las siguientes líneas:

Insertar CODE, HTML o PHP:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.********com/sitemap_index.xml

trabajosweb · 16 Dic 2022

Alpanpan dijo:
Si no me equivoco con Yoast, al menos en la versión gratuita, no puedes modificar los sitemaps, si no que él los genera de manera automática al ir configurando las etiquetas nofollow o no index en las distintas páginas. Lo que puedes hacer es desactivar la creación del sitemap desde las configuraciones de Yoast (Yoast -> general -> características y buscas mapas del sitio XML y lo desactivas) para generarlo tú y después mandarlo a Google.

Tengo la versión premium y desde el plugin no encontré dónde modificarlo. ¿Se podría hacer desde la edición de los documentos en el hosting?

ramones33 dijo:
Yo uso Yoast y sólo tengo las siguientes líneas:

Insertar CODE, HTML o PHP:

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.********com/sitemap_index.xml

¿La agregaste tú mismo?

ramones33 · 22 Dic 2022

trabajosweb dijo:
Tengo la versión premium y desde el plugin no encontré dónde modificarlo. ¿Se podría hacer desde la edición de los documentos en el hosting?

¿La agregaste tú mismo?

No, es lo que agrega el plugin por defecto. Saludos

Fedeha · 22 Dic 2022

Pregunta ya que termine en este hilo. Debo indicar en el archivo robots.txt los diferentes sitemaps por idioma tambien?

ramones33 · 22 Dic 2022

Fedeha dijo:
Pregunta ya que termine en este hilo. Debo indicar en el archivo robots.txt los diferentes sitemaps por idioma tambien?

Si, es lo mejor, y enviarlos desde Search Console también.

Fedeha · 22 Dic 2022

ramones33 dijo:
Si, es lo mejor, y enviarlos desde Search Console también.

Muchas gracias por la info! tengo hecho las traducciones con WPML pero esta demorando muchisimo en empezar a posicionar KW e indexar

trabajosweb · 22 Dic 2022

ramones33 dijo:
No, es lo que agrega el plugin por defecto. Saludos

A mí me genera otros datos y no he encontrado la forma de editarlo...

ramones33 · 26 Dic 2022

trabajosweb dijo:
A mí me genera otros datos y no he encontrado la forma de editarlo...

Ya que tienes la versión premium podrías probar contactar a soporte.