Ayuda con problemas en archivo robots.txt

xaiborweb · 21 Mar 2013

buenas compañeros del foro es que estoy muy preocupado

ya que hoy entro a google webmaster tool y me aparece el siguiente mensaje

Se han detectado incidencias graves relacionadas con el estado de tu sitio

me dice que el archivo robots.txt esta bloqueando paginas importantes
Googlebot se encuentra bloqueado para Enlace eliminado

mi sitio antes no tenia ningún archivo robots.txt fisico si no uno virtual que lo creaba wordpress automáticamente y que me mostraba esto:

HTML:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

pero resulta que había un directorio el cual me estaba indexando y no lo quería así que
me cree un archivo físico en la raíz del dominio por ftp lo llame robots.txt igual al que ya existía pero virtual y le puse esto

HTML:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /stream/

las mismas lineas que tenia antes pero ahora le agregue que me blokeara el directorio stream

y es ahora donde me aparece este gran problema
ayudándome por favor echen me una mano que hice mal ?

saludos y gracias 🙂

---------- Post agregado el 22-mar-2013 hora: 04:24 ----------

por el momento acabe de borrar el archivo robots.txt físico que había echo a modo de desesperación esperando que al menos google pueda entrar a indexar mi sitio espero se arregle por el momento

pero seguiría con el problema de bloquear el directorio stream y sus derivados

mi pagina Enlace eliminado
el robots.txt Enlace eliminado
el directorio que quiero bloquear Enlace eliminado

adresc · 22 Mar 2013

Pues me parece que la advertencia fue por que bloqueaste ese directorio, quizá eran muchas páginas las que indexaba a partir de ese directorio, por eso te mandó la advertencia, pero como fue algo que hiciste premeditadamente entonces creo que solo debes ignorar la advertencia

aWebo · 22 Mar 2013

Estoy de acuerdo con adresc, seguramente Google ya tenía un montón de archivos indexados, al entrar el bot y no tener acceso te mandó el aviso. Si realmente quieres desactivar la indexación déjalo como estaba (aunque ya te aviso que Google hace lo que quiere con los robots.txt), también por .htaccess puedes denegar el acceso a robots. Y por últimas creo que en Webmaster Tools también puedes limitar la indexabilidad de tu sitio.

xaiborweb · 22 Mar 2013

aWebo dijo:
Estoy de acuerdo con adresc, seguramente Google ya tenía un montón de archivos indexados, al entrar el bot y no tener acceso te mandó el aviso. Si realmente quieres desactivar la indexación déjalo como estaba (aunque ya te aviso que Google hace lo que quiere con los robots.txt), también por .htaccess puedes denegar el acceso a robots. Y por últimas creo que en Webmaster Tools también puedes limitar la indexabilidad de tu sitio.

pero muchachos lo que pasa es que el robots.txt físico que cree ere este

HTML:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /stream/

pero en el panel de control de webmaster tool me mostraba este robots.txt

HTML:

User-agent: *
Disallow: /

que no se donde pudo tomar google ese robots.txt y que me muestra que esta bloqueado el acceso a la pagina principal con el /
e mirado la herramientas para webmaster para solucionarlo y pues ya no se cual se ale problema ya que al mismo tiempo que cree mi robos.txt físico
1) también camufle las dns del dominio a cloudflare y las cachee con este mismo y
3) también al mismo tiempo active el plugin wp super cache para cachear toda la pagina el cual me le hizo una modificación a l archivo htacces a modo que me quedo así

HTML:

<IfModule mod_rewrite.c>
RewriteEngine On
</IfModule>   
LimitRequestBody 10240000  


# BEGIN WPSuperCache
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
#If you serve pages from behind a proxy you may want to change 'RewriteCond %{HTTPS} on' to something more sensible
AddDefaultCharset UTF-8
RewriteCond %{REQUEST_URI} !^.*[^/]$
RewriteCond %{REQUEST_URI} !^.*//.*$
RewriteCond %{REQUEST_METHOD} !POST
RewriteCond %{QUERY_STRING} !.*=.*
RewriteCond %{HTTP:Cookie} !^.*(comment_author_|wordpress_logged_in|wp-postpass_).*$
RewriteCond %{HTTP:X-Wap-Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP:Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*(2.0\ MMP|240x320|400X240|AvantGo|BlackBerry|Blazer|Cellphone|Danger|DoCoMo|Elaine/3.0|EudoraWeb|Googlebot-Mobile|hiptop|IEMobile|KYOCERA/WX310K|LG/U990|MIDP-2.|MMEF20|MOT-V|NetFront|Newt|Nintendo\ Wii|Nitro|Nokia|Opera\ Mini|Palm|PlayStation\ Portable|portalmmm|Proxinet|ProxiNet|SHARP-TQ-GX10|SHG-i900|Small|SonyEricsson|Symbian\ OS|SymbianOS|TS21i-10|UP.Browser|UP.Link|webOS|Windows\ CE|WinWAP|YahooSeeker/M1A1-R2D2|iPhone|iPod|Android|BlackBerry9530|LG-TU915\ Obigo|LGE\ VX|webOS|Nokia5800).* [NC]
RewriteCond %{HTTP_user_agent} !^(w3c\ |w3c-|acs-|alav|alca|amoi|audi|avan|benq|bird|blac|blaz|brew|cell|cldc|cmd-|dang|doco|eric|hipt|htc_|inno|ipaq|ipod|jigs|kddi|keji|leno|lg-c|lg-d|lg-g|lge-|lg/u|maui|maxo|midp|mits|mmef|mobi|mot-|moto|mwbp|nec-|newt|noki|palm|pana|pant|phil|play|port|prox|qwap|sage|sams|sany|sch-|sec-|send|seri|sgh-|shar|sie-|siem|smal|smar|sony|sph-|symb|t-mo|teli|tim-|tosh|tsm-|upg1|upsi|vk-v|voda|wap-|wapa|wapi|wapp|wapr|webc|winw|winw|xda\ |xda-).* [NC]
RewriteCond %{HTTP:Accept-Encoding} gzip
RewriteCond %{HTTPS} on
RewriteCond %{DOCUMENT_ROOT}/wp-content/cache/supercache/%{SERVER_NAME}/$1/index-https.html.gz -f
RewriteRule ^(.*) "/wp-content/cache/supercache/%{SERVER_NAME}/$1/index-https.html.gz" [L]

RewriteCond %{REQUEST_URI} !^.*[^/]$
RewriteCond %{REQUEST_URI} !^.*//.*$
RewriteCond %{REQUEST_METHOD} !POST
RewriteCond %{QUERY_STRING} !.*=.*
RewriteCond %{HTTP:Cookie} !^.*(comment_author_|wordpress_logged_in|wp-postpass_).*$
RewriteCond %{HTTP:X-Wap-Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP:Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*(2.0\ MMP|240x320|400X240|AvantGo|BlackBerry|Blazer|Cellphone|Danger|DoCoMo|Elaine/3.0|EudoraWeb|Googlebot-Mobile|hiptop|IEMobile|KYOCERA/WX310K|LG/U990|MIDP-2.|MMEF20|MOT-V|NetFront|Newt|Nintendo\ Wii|Nitro|Nokia|Opera\ Mini|Palm|PlayStation\ Portable|portalmmm|Proxinet|ProxiNet|SHARP-TQ-GX10|SHG-i900|Small|SonyEricsson|Symbian\ OS|SymbianOS|TS21i-10|UP.Browser|UP.Link|webOS|Windows\ CE|WinWAP|YahooSeeker/M1A1-R2D2|iPhone|iPod|Android|BlackBerry9530|LG-TU915\ Obigo|LGE\ VX|webOS|Nokia5800).* [NC]
RewriteCond %{HTTP_user_agent} !^(w3c\ |w3c-|acs-|alav|alca|amoi|audi|avan|benq|bird|blac|blaz|brew|cell|cldc|cmd-|dang|doco|eric|hipt|htc_|inno|ipaq|ipod|jigs|kddi|keji|leno|lg-c|lg-d|lg-g|lge-|lg/u|maui|maxo|midp|mits|mmef|mobi|mot-|moto|mwbp|nec-|newt|noki|palm|pana|pant|phil|play|port|prox|qwap|sage|sams|sany|sch-|sec-|send|seri|sgh-|shar|sie-|siem|smal|smar|sony|sph-|symb|t-mo|teli|tim-|tosh|tsm-|upg1|upsi|vk-v|voda|wap-|wapa|wapi|wapp|wapr|webc|winw|winw|xda\ |xda-).* [NC]
RewriteCond %{HTTP:Accept-Encoding} gzip
RewriteCond %{HTTPS} !on
RewriteCond %{DOCUMENT_ROOT}/wp-content/cache/supercache/%{SERVER_NAME}/$1/index.html.gz -f
RewriteRule ^(.*) "/wp-content/cache/supercache/%{SERVER_NAME}/$1/index.html.gz" [L]

RewriteCond %{REQUEST_URI} !^.*[^/]$
RewriteCond %{REQUEST_URI} !^.*//.*$
RewriteCond %{REQUEST_METHOD} !POST
RewriteCond %{QUERY_STRING} !.*=.*
RewriteCond %{HTTP:Cookie} !^.*(comment_author_|wordpress_logged_in|wp-postpass_).*$
RewriteCond %{HTTP:X-Wap-Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP:Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*(2.0\ MMP|240x320|400X240|AvantGo|BlackBerry|Blazer|Cellphone|Danger|DoCoMo|Elaine/3.0|EudoraWeb|Googlebot-Mobile|hiptop|IEMobile|KYOCERA/WX310K|LG/U990|MIDP-2.|MMEF20|MOT-V|NetFront|Newt|Nintendo\ Wii|Nitro|Nokia|Opera\ Mini|Palm|PlayStation\ Portable|portalmmm|Proxinet|ProxiNet|SHARP-TQ-GX10|SHG-i900|Small|SonyEricsson|Symbian\ OS|SymbianOS|TS21i-10|UP.Browser|UP.Link|webOS|Windows\ CE|WinWAP|YahooSeeker/M1A1-R2D2|iPhone|iPod|Android|BlackBerry9530|LG-TU915\ Obigo|LGE\ VX|webOS|Nokia5800).* [NC]
RewriteCond %{HTTP_user_agent} !^(w3c\ |w3c-|acs-|alav|alca|amoi|audi|avan|benq|bird|blac|blaz|brew|cell|cldc|cmd-|dang|doco|eric|hipt|htc_|inno|ipaq|ipod|jigs|kddi|keji|leno|lg-c|lg-d|lg-g|lge-|lg/u|maui|maxo|midp|mits|mmef|mobi|mot-|moto|mwbp|nec-|newt|noki|palm|pana|pant|phil|play|port|prox|qwap|sage|sams|sany|sch-|sec-|send|seri|sgh-|shar|sie-|siem|smal|smar|sony|sph-|symb|t-mo|teli|tim-|tosh|tsm-|upg1|upsi|vk-v|voda|wap-|wapa|wapi|wapp|wapr|webc|winw|winw|xda\ |xda-).* [NC]
RewriteCond %{HTTPS} on
RewriteCond %{DOCUMENT_ROOT}/wp-content/cache/supercache/%{SERVER_NAME}/$1/index-https.html -f
RewriteRule ^(.*) "/wp-content/cache/supercache/%{SERVER_NAME}/$1/index-https.html" [L]

RewriteCond %{REQUEST_URI} !^.*[^/]$
RewriteCond %{REQUEST_URI} !^.*//.*$
RewriteCond %{REQUEST_METHOD} !POST
RewriteCond %{QUERY_STRING} !.*=.*
RewriteCond %{HTTP:Cookie} !^.*(comment_author_|wordpress_logged_in|wp-postpass_).*$
RewriteCond %{HTTP:X-Wap-Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP:Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*(2.0\ MMP|240x320|400X240|AvantGo|BlackBerry|Blazer|Cellphone|Danger|DoCoMo|Elaine/3.0|EudoraWeb|Googlebot-Mobile|hiptop|IEMobile|KYOCERA/WX310K|LG/U990|MIDP-2.|MMEF20|MOT-V|NetFront|Newt|Nintendo\ Wii|Nitro|Nokia|Opera\ Mini|Palm|PlayStation\ Portable|portalmmm|Proxinet|ProxiNet|SHARP-TQ-GX10|SHG-i900|Small|SonyEricsson|Symbian\ OS|SymbianOS|TS21i-10|UP.Browser|UP.Link|webOS|Windows\ CE|WinWAP|YahooSeeker/M1A1-R2D2|iPhone|iPod|Android|BlackBerry9530|LG-TU915\ Obigo|LGE\ VX|webOS|Nokia5800).* [NC]
RewriteCond %{HTTP_user_agent} !^(w3c\ |w3c-|acs-|alav|alca|amoi|audi|avan|benq|bird|blac|blaz|brew|cell|cldc|cmd-|dang|doco|eric|hipt|htc_|inno|ipaq|ipod|jigs|kddi|keji|leno|lg-c|lg-d|lg-g|lge-|lg/u|maui|maxo|midp|mits|mmef|mobi|mot-|moto|mwbp|nec-|newt|noki|palm|pana|pant|phil|play|port|prox|qwap|sage|sams|sany|sch-|sec-|send|seri|sgh-|shar|sie-|siem|smal|smar|sony|sph-|symb|t-mo|teli|tim-|tosh|tsm-|upg1|upsi|vk-v|voda|wap-|wapa|wapi|wapp|wapr|webc|winw|winw|xda\ |xda-).* [NC]
RewriteCond %{HTTPS} !on
RewriteCond %{DOCUMENT_ROOT}/wp-content/cache/supercache/%{SERVER_NAME}/$1/index.html -f
RewriteRule ^(.*) "/wp-content/cache/supercache/%{SERVER_NAME}/$1/index.html" [L]
</IfModule>

# END WPSuperCache




# BEGIN WordPress
#RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
#OTRO BORRAR
# END WordPress

y pues ya no se que puede estar pasando ni como hago para que google me deje de mostrar esa alerta

adresc dijo:
Pues me parece que la advertencia fue por que bloqueaste ese directorio, quizá eran muchas páginas las que indexaba a partir de ese directorio, por eso te mandó la advertencia, pero como fue algo que hiciste premeditadamente entonces creo que solo debes ignorar la advertencia

---------- Post agregado el 22-mar-2013 hora: 14:31 ----------

quite el robots.txt que cree y le hice la prueba de explorar como google

y me aparece esto

HTML:

Así es cómo el robot de Google ha recuperado la página.
URL: http://peliculas-movies.net/
Fecha: viernes, 22 de marzo de 2013 07:21:30 GMT-07:00
Tipo de robot de Google: Web
Tiempo de descarga (en milisegundos): 782

PHP:

Es posible que el contenido de la página que se muestra esté truncado. Para obtener más información sobre los límites de obtención de datos, consulta el artículo del Centro de asistencia sobre la herramienta Explorar como Google.

y luego pues todo el html de mi pagina principal

es eso malo ?

aWebo · 22 Mar 2013

Ahora mismo en tu robots.txt tienes esto:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

¿Todavía te sale el error?

xaiborweb · 22 Mar 2013

aWebo dijo:
Ahora mismo en tu robots.txt tienes esto:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

¿Todavía te sale el error?

si tengo eso pero porque elimine el robots.txt físico que había creado y le pedí a google que me indexara de nuevo y todo volvio a la normalidad ya que reconoce el robots.txt virtual que crea automaticamnte wordpress y al cual no puede tener control de el

ahora mi pregunta es por que motivo google no reconoce un robots.txt físico en mi dominio pero si uno virtual que yo no puedo controlar ?

y seguiré con el problema de bloquear el directorio stream para la indexacion ya que no me atrae mucho la idea de irme a todos los panel de control de webmaster de los buscadores y configurar los desde ayi

siendo que crear un archivo robots.txt es lo mas normal del mundo pero google no me lo reconoce

no se si sea por cloudflare o el cache de wp super cache la verdad no se

saludos y gracias amigo 🙂

Ayuda con problemas en archivo robots.txt

xaiborweb

adresc

aWebo

xaiborweb

aWebo

xaiborweb

Temas similares