Entendiendo y eliminando bloqueo de indexación por robots.txt

Lord Pepe · 2013-08-10T23:04:10-0500

Al buscar en goggle directamente la ubicación de mi página me aparece:

No se dispone de una descripción de este resultado debido a robots.txt. Más información.

Luego, al buscar más información:

Los archivos robots.txt restringen el acceso a un sitio por parte de los robots de motores de búsqueda que rastrean la Web. Estos robots están automatizados y, antes de acceder a las páginas de un sitio, verifican si existe un archivo robots.txt que les impida el acceso a determinadas páginas. Aunque todos los robots acreditados respetan las directivas del archivo robots.txt, algunos pueden interpretarlas de forma diferente. Sin embargo, el archivo robots.txt no es obligatorio y algunos emisores de spam y otros malhechores pueden ignorarlo. Por este motivo, es recomendable proteger la información confidencial con contraseñas.

Para consultar las URL que Google no ha podido rastrear, accede a la página URL bloqueadas de la sección de Rastreo de Herramientas para webmasters de Google.

El archivo robots.txt solo es necesario si tu sitio incluye contenido que no deseas que los motores de búsqueda indexen. Si va a permitir la indexación de su sitio por completo, el archivo robots.txt no es necesario (ni siquiera uno vacío).

¿Qué son los fulanos robots y como puedo eliminarlos si están evitando que mi página sea indexada?

Cicklow · 2013-08-10T23:08:56-0500

Lord Pepe dijo:
Al buscar en goggle directamente la ubicación de mi página me aparece:

Luego, al buscar más información:

¿Qué son los fulanos robots y como puedo eliminarlos si están evitando que mi página sea indexada?

es un file llamado robots.txt que contiene datos para que los navegadores te indexen o no... tmb en WP podrias ver en las opciones si permitis que los buscadores te encuentren o no...

Lord Pepe · 2013-08-10T23:28:30-0500

Esos bichos aparecen en style.php index... ¿?

Me gustaría revisar de una vez para eliminarlos (sí es que de eso se trata)

Cicklow · 2013-08-10T23:31:11-0500

Lord Pepe dijo:
Esos bichos aparecen en style.php index... ¿?

Me gustaría revisar de una vez para eliminarlos (sí es que de eso se trata)

-.- bichos??... podes buscar robots.txt en google y aprender mas...

Lord Pepe · 2013-08-10T23:36:08-0500

Tengo rato leyendo de ello, lo que no entiendo es donde eliminarlos. Lo de bichos es por apodarlos no más.

codigoadicto · 2013-08-11T00:12:38-0500

Normalmente los archivos robots.txt se encuentran en la ruta de la pagina "/" que es donde apunta tu servidor con la carpeta de "public_html" directamente en la raíz del dominio.

Si tienes robots.txt para que se indexe tu pagina solo tienes que poner estas lineas en el archivo:

Insertar CODE, HTML o PHP:

User-agent: *
Allow: /
Sitemap: http://mi-web.com/sitemap.xml

Permite todo los motores de búsquedas.
Indexa todo el contenido de la raiz.
Indexa el sitemap.

En caso de no tener un sitemap en tu sitio cosa que te recomiendo no pongas la url del sitemap. Si aun no se indexa tu sitio agrega tu pagina a las herramientas para webmasters de google y mira alli que es lo que pasa.

Lord Pepe · 2013-08-11T00:19:34-0500

Gracias, ando metido ahí de cabeza, consultando-

---------- Post agregado el 11-ago-2013 hora: 05:24 ----------

En caso de no tener un sitemap en tu sitio cosa que te recomiendo no pongas la url del sitemap

No entiendo ¿es recomendable o no tener un sitemap?

jlchevrolet · 2013-08-11T00:25:10-0500

cicklow dijo:
-.- bichos??... podes buscar robots.txt en google y aprender mas...

bichos xD

JAJAJA.. AK A VECES ENTRO Y ME MATO DE RISA XD

codigoadicto · 2013-08-11T00:38:32-0500

Lord Pepe dijo:
Gracias, ando metido ahí de cabeza, consultando-

---------- Post agregado el 11-ago-2013 hora: 05:24 ----------

No entiendo ¿es recomendable o no tener un sitemap?

Si, es recomendable tener un sitemap, así los motores te indexan más fácil el contenido. Ya que no tienen que recorrer tu sitio completo.

Lord Pepe · 2013-08-11T00:59:28-0500

Bien, al solicitar recuperar la página principal desde herramientas para websmasters de goggle me aparece denegada por robots.txt

Pero no encuentro los fulanos robots desde el "public_html". Ni idea de como dar con ellos ¿podrías explicarme la ruta desde el cpanel o al menos desde el public_html hasta ellos?
Y disculpa el abuso.

codigoadicto · 2013-08-11T01:05:08-0500

Si no esta en la raíz es que no lo tienes. Te recomiendo crearlo y agrega lo que te puse arriba.

Lord Pepe · 2013-08-11T01:18:19-0500

El sitemap se que no lo tengo, pero los robots, no los encuentro y en herramientas para websmaster sigue apareciendo "denegada por robots.txt

EspErpENto · 2013-08-11T05:41:34-0500

Instala el plugin SEO by Yoast, sus beneficios :

1) Te crean un sitemaps actualizado.

2) Te permiten indexar los bichos:drunk:

Lord Pepe · 2013-08-11T10:30:15-0500

Jeje, justo lo instalé porque lo encontré como una solución a esto, además tengo entendido que traer otras herramientas SEO para ayudar y necesito aprender y aplicar mucho de ello.

---------- Post agregado el 11-ago-2013 hora: 16:05 ----------

Al parecer el plugin me resolvió el problema. Muchas gracias a todos.

hijodeDios · 2013-08-12T19:29:32-0500

Los robots.txt son imprescindibles para tu pagina, y los quieres eliminar. ???

joselp · 2013-08-15T02:25:57-0500

Seguramente tenias marcada la casilla en ajustes-lectura "Disuade a los motores de búsqueda de indexar este sitio",y el seo by yoast te ha ayudado a desmarcarla.

codigoadicto · 24 Oct 2013

En caso de que no lo tengas puedes crearlo tu mismo, es un simple archivo de texto robots.txt aquí te explican como The Web Robots Pages y puedes inspirarte con el de Google http://www.google.com/robots.txt que muestra los que ellos permiten indexar y lo que no.

Vittey · 24 Oct 2013

En el admin de WP te vas a settings, general y habilitas la indexacion de buscadores.

suerte.

Entendiendo y eliminando bloqueo de indexación por robots.txt

Lord Pepe

Cicklow

Lord Pepe

Cicklow

Lord Pepe

codigoadicto

Lord Pepe

jlchevrolet

codigoadicto

Lord Pepe

codigoadicto

Lord Pepe

EspErpENto

Lord Pepe

hijodeDios

joselp

codigoadicto

Vittey

Temas similares

Privacidad y transparencia

Privacidad y transparencia