Entendiendo y eliminando bloqueo de indexación por robots.txt

Desde
25 Jul 2013
Mensajes
3.611
Al buscar en goggle directamente la ubicación de mi página me aparece:

No se dispone de una descripción de este resultado debido a robots.txt. Más información.

Luego, al buscar más información:

Los archivos robots.txt restringen el acceso a un sitio por parte de los robots de motores de búsqueda que rastrean la Web. Estos robots están automatizados y, antes de acceder a las páginas de un sitio, verifican si existe un archivo robots.txt que les impida el acceso a determinadas páginas. Aunque todos los robots acreditados respetan las directivas del archivo robots.txt, algunos pueden interpretarlas de forma diferente. Sin embargo, el archivo robots.txt no es obligatorio y algunos emisores de spam y otros malhechores pueden ignorarlo. Por este motivo, es recomendable proteger la información confidencial con contraseñas.

Para consultar las URL que Google no ha podido rastrear, accede a la página URL bloqueadas de la sección de Rastreo de Herramientas para webmasters de Google.

El archivo robots.txt solo es necesario si tu sitio incluye contenido que no deseas que los motores de búsqueda indexen. Si va a permitir la indexación de su sitio por completo, el archivo robots.txt no es necesario (ni siquiera uno vacío).

¿Qué son los fulanos robots y como puedo eliminarlos si están evitando que mi página sea indexada?
 

Cicklow

Admin
Dseda
Verificado
Verificación en dos pasos activada
Verificado por Whatsapp
¡Ha verificado su Paypal!
Suscripción a IA
Desde
30 May 2011
Mensajes
1.101
Al buscar en goggle directamente la ubicación de mi página me aparece:



Luego, al buscar más información:



¿Qué son los fulanos robots y como puedo eliminarlos si están evitando que mi página sea indexada?

es un file llamado robots.txt que contiene datos para que los navegadores te indexen o no... tmb en WP podrias ver en las opciones si permitis que los buscadores te encuentren o no...
 

Cicklow

Admin
Dseda
Verificado
Verificación en dos pasos activada
Verificado por Whatsapp
¡Ha verificado su Paypal!
Suscripción a IA
Desde
30 May 2011
Mensajes
1.101
Esos bichos aparecen en style.php index... ¿?

Me gustaría revisar de una vez para eliminarlos (sí es que de eso se trata)

-.- bichos??... podes buscar robots.txt en google y aprender mas...
 

codigoadicto

Beta
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
5 Mar 2012
Mensajes
67
Normalmente los archivos robots.txt se encuentran en la ruta de la pagina "/" que es donde apunta tu servidor con la carpeta de "public_html" directamente en la raíz del dominio.

Si tienes robots.txt para que se indexe tu pagina solo tienes que poner estas lineas en el archivo:

Insertar CODE, HTML o PHP:
User-agent: *
Allow: /
Sitemap: http://mi-web.com/sitemap.xml

Permite todo los motores de búsquedas.
Indexa todo el contenido de la raiz.
Indexa el sitemap.

En caso de no tener un sitemap en tu sitio cosa que te recomiendo no pongas la url del sitemap. Si aun no se indexa tu sitio agrega tu pagina a las herramientas para webmasters de google y mira alli que es lo que pasa.
 
Desde
25 Jul 2013
Mensajes
3.611
Gracias, ando metido ahí de cabeza, consultando-

---------- Post agregado el 11-ago-2013 hora: 05:24 ----------

En caso de no tener un sitemap en tu sitio cosa que te recomiendo no pongas la url del sitemap

No entiendo ¿es recomendable o no tener un sitemap?
 

codigoadicto

Beta
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
5 Mar 2012
Mensajes
67
Gracias, ando metido ahí de cabeza, consultando-

---------- Post agregado el 11-ago-2013 hora: 05:24 ----------



No entiendo ¿es recomendable o no tener un sitemap?

Si, es recomendable tener un sitemap, así los motores te indexan más fácil el contenido. Ya que no tienen que recorrer tu sitio completo.
 
Desde
25 Jul 2013
Mensajes
3.611
Bien, al solicitar recuperar la página principal desde herramientas para websmasters de goggle me aparece denegada por robots.txt

Pero no encuentro los fulanos robots desde el "public_html". Ni idea de como dar con ellos ¿podrías explicarme la ruta desde el cpanel o al menos desde el public_html hasta ellos?
Y disculpa el abuso.
 

codigoadicto

Beta
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
5 Mar 2012
Mensajes
67
Si no esta en la raíz es que no lo tienes. Te recomiendo crearlo y agrega lo que te puse arriba.
 
Desde
25 Jul 2013
Mensajes
3.611
El sitemap se que no lo tengo, pero los robots, no los encuentro y en herramientas para websmaster sigue apareciendo "denegada por robots.txt
 

EspErpENto

Mi
Verificación en dos pasos activada
Verificado por Whatsapp
Desde
16 Feb 2013
Mensajes
3.328
Instala el plugin SEO by Yoast, sus beneficios :

1) Te crean un sitemaps actualizado.

2) Te permiten indexar los bichos:drunk:
 
Desde
25 Jul 2013
Mensajes
3.611
Jeje, justo lo instalé porque lo encontré como una solución a esto, además tengo entendido que traer otras herramientas SEO para ayudar y necesito aprender y aplicar mucho de ello.

---------- Post agregado el 11-ago-2013 hora: 16:05 ----------

Al parecer el plugin me resolvió el problema. Muchas gracias a todos.
 

joselp

Gamma
Verificación en dos pasos activada
Verificado por Whatsapp
Desde
10 Ago 2013
Mensajes
165
Seguramente tenias marcada la casilla en ajustes-lectura "Disuade a los motores de búsqueda de indexar este sitio",y el seo by yoast te ha ayudado a desmarcarla.
 

Vittey

VIP
Pi
Social Media
Verificado
Verificación en dos pasos activada
Verificado por Whatsapp
¡Ha verificado su Paypal!
Verificado por Binance
Suscripción a IA
Desde
13 Abr 2013
Mensajes
5.842
En el admin de WP te vas a settings, general y habilitas la indexacion de buscadores.

suerte.
 
Arriba