Problemas con robots.txt y sitemap en WordPress

  • Autor Autor tracid
  • Fecha de inicio Fecha de inicio
T

tracid

Gamma
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Hola hoy tuve problemas con mi blog y estuvo caido casi todo el dia. Desde el hosting que tengo me modificaron el robots.txt. El robots.txt dd debo ponerlo en el directorio raiz, es decir, en /?
Es que lo tenía dentro de /public_html/ y en el directorio raiz / tb. El sitemap.xml va en el directorio raiz? o en /public_html/ porque en el directorio raiz no me sale y en public_html me sale sitemap.xml y sitemap.xml.gz, debo borrar alguno? Entro en google webmasters tool y le deoy a explorar como google bot y sale lo siguiente: Error:

HTTP/1.1 403 Forbidden
Date: Sat, 28 Jan 2012 19:08:13 GMT
Server: Apache mod_qos/9.69 mod_fcgid/2.3.6 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635
Content-Length: 486
Keep-Alive: timeout=5, max=75
Connection: Keep-Alive
Content-Type: text/html; charset=iso-8859-1

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>403 Forbidden</title>
</head><body>
<h1>Forbidden</h1>
<p>You don't have permission to access /
on this server.</p>
<p>Additionally, a 403 Forbidden
error was encountered while trying to use an ErrorDocument to handle the request.</p>
<hr>
<address>Apache mod_qos/9.69 mod_fcgid/2.3.6 mod_auth_passthrough/2.1 mod_bwlimited/1.4 FrontPage/5.0.2.2635 Server at economia-eficiente.com Port 80</address>
</body></html>

Después si voy a Sitemaps me salen esos 2: sitemap.xml y sitemap.xml.gz Si los selecciono y los envio me sale lo siguiente:

Google ha detectado un error al intentar acceder a su sitemap. Compruebe que cumpla con nuestras directrices y que puede accederse al mismo desde la ubicación proporcionada. A continuación, vuelva a enviar la información.
1
Error general de HTTP: 403(Prohibido)
Error HTTP: 403

Y en la opcion acceso a rastreadores esto:

User-agent: *
Disallow:

Sitemap: misite.com/sitemap.xml.gz

Cuando el robots.txt. que tengo en el directorio raiz es mucho más largo que eso.


Despues de todo este rollo, lo siento que sea tan largo, alguien sabe que puedo hacer?
 
Última edición:
Yo creo que te has complicado... partimos de cero, wordpress limpio y sin ningun plugin de SEO.

1) Instalar plugin google xml sitemaps, lo activas, lo configuras y ya esta.
2) Contenido del robots.txt

Insertar CODE, HTML o PHP:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://economia-eficiente.com/sitemap.xml.gz

Todo listo 😉
 
ok! a ver si soluciono eso 🙂 guarde las entradas para restaurarlas luego
 
Se me olvido decirte que los archicos robots.txt debe ir dentro de public_html , ya el nombre lo dice 😉

Con el plugin google xml sitemaps no veras los archivos sitemap en tu carpeta public_html porq los genera el plugin dinamicante cuando hagan la peticion HTTP. Pero veras que si tratas de acceder a ellos si estan 😉
 
Ah ya está solucionado no tuve que empezar de 0, el hosting me estaba bloqueando eso por eso me salia el error ese, ahora ya está ok!

Una pregunta más, el robots.txt que sale en google webmaster tool es el que tengo? Es que me sale esto:

User-agent: *
Disallow:

Sitemap: http://economia-eficiente.com/sitemap.xml.gz

Si pongo economia-eficiente.com/robots.txt me sale eso tb pero en public_html tengo otro robots.txt que pone más cosas :S
 
el robots.txt quizas esta siendo generado dinamicamente por php....
 
y sabes como podría cambiar eso?
 
No se que plugins tienes instalados... no se si lo esta generando algun plugin... si lo genera el propio wordpress.

Trata de documentarte en google.

Saludos.
 
Si ya llevo buscando desde ayer pero no encuentro nada parecido a lo que me pasa :S. Plugins tengo AIOSP,addthis, akismet,feedburner,force gzip, site map generator, wp super cache...y luego que puedan influir en eso no creo que más pk tengo uno de lightbox, jetpack y asi pero no muchos más, creo que voy a crear un hilo a ver si alguien me puede ayudar 😉. Muchas gracias! 😀
 
Atrás
Arriba