Configuración ideal de robots.txt en Wordpress

Veo muchas opiniones diferentes sobre qué tipo de robots.txt usar en Wordpress y sobre cómo se deberían configurar

¿Qué opináis?

¿Algún ejemplo (para un blog que use Adsense)?

Gracias

- - - Actualizado - - -

(esto lo pregunto principalmente porque el plugin generador de XML Sitemaps indica que para usar la función de añadir el sitemap a robots.txt NO debe existir un archivo real, ya que por lo visto WP tiene su propio archivo interno robots.txt Se utiliza el archivo robots.txt virtual generado por WordPress. ¡NO debe existir un fichero real robots.txt dentro del directorio del blog! )

ramonjosegn dijo:

Veo muchas opiniones diferentes sobre qué tipo de robots.txt usar en Wordpress y sobre cómo se deberían configurar

¿Qué opináis?

¿Algún ejemplo (para un blog que use Adsense)?

Gracias

- - - Actualizado - - -

(esto lo pregunto principalmente porque el plugin generador de XML Sitemaps indica que para usar la función de añadir el sitemap a robots.txt NO debe existir un archivo real, ya que por lo visto WP tiene su propio archivo interno robots.txt Se utiliza el archivo robots.txt virtual generado por WordPress. ¡NO debe existir un fichero real robots.txt dentro del directorio del blog! )

Hacer clic para expandir...

En cuanto a la configuración ideal de robots.txt en Wordpress, es importante tener en cuenta varios aspectos. En general, es recomendable permitir el acceso a todas las páginas de tu sitio web a los motores de búsqueda para indexar tu contenido de manera efectiva. Sin embargo, es posible que desees restringir el acceso a ciertas áreas sensibles o archivos específicos.

Para un blog que utiliza Adsense y considerando la recomendación del plugin generador de XML Sitemaps que mencionas, podrías configurar tu robots.txt de la siguiente manera:

```
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: https://tublog.com/sitemap.xml
```

En este ejemplo, se permite el acceso a todas las páginas del sitio para los motores de búsqueda, pero se bloquea el acceso a las carpetas de administración de Wordpress para evitar que se indexen. Además, se añade la ubicación del archivo sitemap generado por el plugin de XML Sitemaps.

Recuerda que es importante revisar y ajustar regularmente tu robots.txt según las necesidades específicas de tu sitio y las recomendaciones de las herramientas que utilices. ¡Espero que esta información te sea útil!