¿Qué es el archivo robots.txt y su función?

nandovcia

Alfa

SEO

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 23 Mar 2017

• #1

No se que pasa con el robots que desde el console search me sale éste punto rojo.



El archivo en si no veo nada raro y en console search lo borro y vuelvo a enviar pero sigue apareciendo..

Gracias por las ayudas

 

X

xtremmetal

Gamma

• 23 Mar 2017

• #2

Ahora Google quiere que toda la web pueda ser rastreada, así que poniendo solo esto:

User-agent: *
Allow: /wp-admin/admin-ajax.php

Asunto resuelto.

Lo vuelves a enviar y ya está,

saludos.

 

nandovcia

Alfa

SEO

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 23 Mar 2017

• #3

Y no puedo bloquear nada por el tema del crawling budget? anonadado me dejas

 

X

xtremmetal

Gamma

• 23 Mar 2017

• #4

nandovcia dijo:

Y no puedo bloquear nada por el tema del crawling budget? anonadado me dejas

Hacer clic para expandir...

Si le bloqueas a Google los plugins, temas, css, js, etc.... Se enfadará contigo y la web :witless: En antaño quería que lo bloqueáramos y ahora no, que le vamos a hacer 😛7:

 

nandovcia

Alfa

SEO

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 23 Mar 2017

• #5

Y que me dices del tema de las búsquedas, páginaciones, o páginas tipo términos y condiciones.

Enviado desde mi SM-N910F mediante Tapatalk

 

nandovcia

Alfa

SEO

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 27 Mar 2017

• #6

Seguimos en las mismas, incluso con el robots que me has pasado que es bien sencillo, me pasa lo mismo.
adjunto captura

 

L

livam84

Delta

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 28 Mar 2017

• #7

Borra el archivo robots.txt, ya que al no bloquear nada, no tiene caso que lo tengas.

Saludos

 

nandovcia

Alfa

SEO

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 29 Mar 2017

• #8

Voy a tener que hacer ésto y que indexe y volver a meterlo a ver que pasa.
El caso es que con screamig frog va todo correcto, pero google ya es otra cosa.

Comentaré como me va.

Gracias