Robots.txt diferente em http e https

acorrionero · 05/08/2017

Buenas,

Llevo varios días intentando solucionar problema con robots.txt (en Search Console bloquea todas las URL) pero no doy con la solución y buscando en Google no he encontrado información para saber si los archivos de ambos protocolos son compartidos o no.

Al modificar el robots.txt de mi directorio raíz sólo me lo modifica para http, no para https.

Si introduzco 404 Not Found obtengo el archivo correcto:
User-Agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

En cambio, si pongo https://www.midominio.es/robots.txt obtengo lo siguiente:
User-Agent: *
Disallow: /*

¿Alguien sabe como puedo solucionarlo?

Usuario eliminado 34503 · 05/08/2017

En primer lugar para evitar contenido duplicado deberías tener una redireccion 301 de http a https.

Fuera de eso, vacía la cache de tu navegador, probablemente estés viendo una version cacheada.

Y si no es eso, debes asegurarte de tener correctamente configurado el SSL. Ya que si no lo está y, dependiendo la configuración del servidor también es probable que te esté mostrando el robot.txt de la primera web disponible en el puerto 443

acorrionero · 05/08/2017

Sergio Gardeazabal disse:
En primer lugar para evitar contenido duplicado deberías tener una redireccion 301 de http a https.

Fuera de eso, vacía la cache de tu navegador, probablemente estés viendo una version cacheada.

Y si no es eso, debes asegurarte de tener correctamente configurado el SSL. Ya que si no lo está y, dependiendo la configuración del servidor también es probable que te esté mostrando el robot.txt de la primera web disponible en el puerto 443

Acabo de vacíar la cache y me sigue saltando el robots.txt incorrecto.
La redirección y el certificado en teoría están correctos. Google indexaba el sitemap correctamente hasta el 01/08, cuando tuve problemas al instalar backendCMS y solicité a SERED (con quién tengo el hosting) que me cargaran el último backup del 31/07... Puede tener algo que ver esto? Es necesario que modifique alguna configuración?

Usuario eliminado 34503 · 05/08/2017

acorrionero disse:
Acabo de vacíar la cache y me sigue saltando el robots.txt incorrecto.
La redirección y el certificado en teoría están correctos. Google indexaba el sitemap correctamente hasta el 01/08, cuando tuve problemas al instalar backendCMS y solicité a SERED (con quién tengo el hosting) que me cargaran el último backup del 31/07... Puede tener algo que ver esto? Es necesario que modifique alguna configuración?

Sin saber cómo está armado el servidor no te puedo ayudar. Lo mejor es que conectes al Hosting para que ellos te puedan dar una respuesta correcta.

Ya que a nivel técnico https y http se conectan por 2 puertos distintos

arnego2 · 05/08/2017

Aunque conecte en 2 puertos distintos,
los archivos donde yace la pagina y su robots.txt esta en la misma ubicación.

Usuario eliminado 34503 · 05/08/2017

arnego2 disse:
Aunque conecte en 2 puertos distintos,
los archivos donde yace la pagina y su robots.txt esta en la misma ubicación.

No necesariamente, depende de la configuracion del servidor. Si usa nginx por ejemplo dependiendo de su configuración al iniciarse la petición en el puerto 443, buscará todos los server blocks que escuchan ese puerto. Y al no encontrar uno con el dominio solicitado usará el default o bien mostrará el primero que encuentre. Y el el server block es quien contiene la ubicación root de los archivos de la web. Por ende en esa situación mostrará el robots.txt equivocado.

Nuevamente depende de como esté armado y configurado el servidor. No digo que ese sea el problema. Lo mejor es que lo hable con su proveedor

acorrionero · 05/08/2017

Sergio Gardeazabal disse:
No necesariamente, depende de la configuracion del servidor. Si usa nginx por ejemplo dependiendo de su configuración al iniciarse la petición en el puerto 443, buscará todos los server blocks que escuchan ese puerto. Y al no encontrar uno con el dominio solicitado usará el default o bien mostrará el primero que encuentre. Y el el server block es quien contiene la ubicación root de los archivos de la web. Por ende en esa situación mostrará el robots.txt equivocado.

Nuevamente depende de como esté armado y configurado el servidor. No digo que ese sea el problema. Lo mejor es que lo hable con su proveedor

Les he abierto ticket y me comentan que es muy raro y que si no tengo instalado plugin de cache, tras decirles que no me indican que siguen trabajando... Os mantengo informados, pero espero me lo solucionen, sino mi opinión de ellos no va a ser la mejor ya que es el primer "marrón" que tengo

Robots.txt diferente em http e https

acorrionero

Usuario eliminado 34503

acorrionero

Usuario eliminado 34503

arnego2

Usuario eliminado 34503

acorrionero

Tópicos similares