Robots.txt Configuración

  • Autor Autor WebmasterWebPro
  • Fecha de inicio Fecha de inicio
WebmasterWebPro

WebmasterWebPro

Gamma
Verificado por Binance
Hola Forobeta, una Pregunta esta configuración en Robots.txt esta Bien?

screenshot_3-png.356762
 

Adjuntos

  • Screenshot_3.webp
    Screenshot_3.webp
    23,1 KB · Visitas: 177
Sí, realmente es estándar esa configuración. Si no quieres hacer más nada, déjalo así.
 
yo pondria los sitemaps abajo xD
 
Hola Forobeta, una Pregunta esta configuración en Robots.txt esta Bien?

screenshot_3-png.356762

En un principio si esta bien así, pero si buscas algo más especifico, por ejemplo: que no se guarde tu información en archive.org, será necesario cambiar algunas cosas.
 
tengo entendido que los robots han quedado en desuso.. ahora en los metas de cada url
 
Hace unos días Google anunció oficialmente que el GoogleBot dejará de obedecer a directivas como noindex o nofollow del archivo robots.txt. Como el mastodonte de los motores de búsqueda sabe la de trabajo que llevará a los webmasters ponerse al día con la nueva regla, ha dado hasta el 1 de septiembre para adaptarse al cambio.

ojito con el robots.. hombres de poca fe

 
Atrás
Arriba