robots.txt

clasi · 28 Nov 2013

Hola a todos!

mi pregunta es saber si este robots esta bien:

User-Agent: *
Allow: /
User-agent: Mediapartners-Google
Allow: /*

gracias!

ecoal95 · 28 Nov 2013

En principio si vas a hacer un Allow: / para todos los user-agents la tercera y la cuarta línea sobran 😉

clasi · 28 Nov 2013

es decir allow:/ permito el acceso a todo? que google rastree todo?

ecoal95 dijo:
En principio si vas a hacer un Allow: / para todos los user-agents la tercera y la cuarta línea sobran 😉

---------- Post agregado el 28-nov-2013 hora: 15:40 ----------

ecoal95 dijo:
En principio si vas a hacer un Allow: / para todos los user-agents la tercera y la cuarta línea sobran 😉

Y esto?

User-agent: *
Disallow:

User-agent: Mediapartners-Google
Disallow:

ecoal95 · 28 Nov 2013

A ver, con las líneas:

Insertar CODE, HTML o PHP:

User-Agent: *
Allow: /

Estás permitiendo que se indexe todo el contenido del sitio (lo cual para adsense, que son las otras dos líneas, es deseable, para el rastreador de google puede serlo o no, depende de tu sitio).

Si usas disallow, lo que haces es no permitir el acceso a la carpeta marcada.

La estructura más frecuente del robots.txt es esta (las páginas con disallow son ejemplos y dependen del sitio: cms, páginas varias...):

Insertar CODE, HTML o PHP:

# Reglas para todos los UA
User-Agent: *
# No permitir que se indexen:
Disallow: /admin/
Disallow: /pagina-irrelevante/
# Permitir que se indexe todo lo demás
Allow: /

# Reglas para el robot de Adsense
User-agent: Mediapartners-Google
# Dejar que indexe todo
Allow: /

clasi · 28 Nov 2013

todo correcto! mi duda es si puedo armarlo de esta forma:

User-Agent: *
Allow: /
User-agent: Mediapartners-Google
disallow: /*

ecoal95 dijo:
A ver, con las líneas:

Insertar CODE, HTML o PHP:

User-Agent: * Allow: /

Estás permitiendo que se indexe todo el contenido del sitio (lo cual para adsense, que son las otras dos líneas, es deseable, para el rastreador de google puede serlo o no, depende de tu sitio).

Si usas disallow, lo que haces es no permitir el acceso a la carpeta marcada.

La estructura más frecuente del robots.txt es esta (las páginas con disallow son ejemplos y dependen del sitio: cms, páginas varias...):

Insertar CODE, HTML o PHP:

# Reglas para todos los UA User-Agent: * # No permitir que se indexen: Disallow: /admin/ Disallow: /pagina-irrelevante/ # Permitir que se indexe todo lo demás Allow: / # Reglas para el robot de Adsense User-agent: Mediapartners-Google # Dejar que indexe todo Allow: /

Waldd0 · 28 Nov 2013

[MENTION=31212]clasi[/MENTION], mejor explica qué queres hacer, y te decimos (?) cómo.
Pq de la forma que estás pidiendo armarlo, es incoherente.
Con las primeras dos lineas, definis que es para todos los robots.

PD: esto qué tiene que ver con HTML ? Debería ser charla webmaster, o algo de SEO, buscadores web, etc.

clasi · 28 Nov 2013

okk, perdon si esta no es la seccion indicada.

el problema es que el robots que tengo en mis paginas es el siguiente:
User-Agent: *
Allow: /

pero ayer me llego un mensaje de adsense el cual me da un error de "robot denegado" y no lo entiendo, pq con este robots, no tendria que tener un error de robot denegado.

PD: esto qué tiene que ver con HTML ? Debería ser charla webmaster, o algo de SEO, buscadores web, etc.[/QUOTE]

ecoal95 · 28 Nov 2013

Entonces seguramente el robot denegado venga de que tienes la etiqueta <meta name="robots"> en el HTML, no tiene nada que ver con el robots.txt

clasi · 28 Nov 2013

la etiqueta que tengo ahora es esta:
<meta name="robots" content="index, follow"/>

ciberutilidades · 28 Nov 2013

clasi dijo:
la etiqueta que tengo ahora es esta:
<meta name="robots" content="index, follow"/>

Si es de todas las paginas entonces estas permitiendo que todos los robots puedan acceder al contenido y seguir los enlaces 😎

Waldd0 · 28 Nov 2013

clasi dijo:
okk, perdon si esta no es la seccion indicada.

el problema es que el robots que tengo en mis paginas es el siguiente:
User-Agent: *
Allow: /

pero ayer me llego un mensaje de adsense el cual me da un error de "robot denegado" y no lo entiendo, pq con este robots, no tendria que tener un error de robot denegado.

Vos esto:

Insertar CODE, HTML o PHP:

User-agent: Mediapartners-Google
disallow: /*

Lo tenes en tu robots.txt ?
Pasa exactamente el contenido que tenes HOY en tu robots.txt (entendiendo por el archivo tal cual lo tenías al momento de recibir el mensaje de google, no?)

clasi · 28 Nov 2013

Waldd0 dijo:
Vos esto:

Insertar CODE, HTML o PHP:

User-agent: Mediapartners-Google disallow: /*

Lo tenes en tu robots.txt ?
Pasa exactamente el contenido que tenes HOY en tu robots.txt (entendiendo por el archivo tal cual lo tenías al momento de recibir el mensaje de google, no?)

mi robots actual y al momento de recibir el mensaje de google es el siguiente:
User-Agent: *
Allow: /

luego me envia una advertencia en el panel del adsense:

"CORREGIR ERRORES DE RASTREADOR"

y me pone que esta url, el robot ha sido denegado

Wix Login

lo curioso de todo esto es que mis paginas no tienen nada que ver con esta url, no entiendo de donde la saca google!

Waldd0 · 28 Nov 2013

Psss... ignoralo [MENTION=31212]clasi[/MENTION], eso es por el robots de wix.com
Vos no podes hacer nada.

Saludos amigo

clasi · 28 Nov 2013

okkk,, esperare unos dias por si es un problema de google.

Gracias a todos por vuestra atencion!

robots.txt

clasi

ecoal95

clasi

ecoal95

clasi

Waldd0

clasi

ecoal95

clasi

ciberutilidades

Waldd0

clasi

Waldd0

clasi

Temas similares