robots.txt
- Autor clasi
- Fecha de inicio
es decir allow:/ permito el acceso a todo? que google rastree todo?
---------- Post agregado el 28-nov-2013 hora: 15:40 ----------
Y esto?
User-agent: *
Disallow:
User-agent: Mediapartners-Google
Disallow:
En principio si vas a hacer un Allow: / para todos los user-agents la tercera y la cuarta línea sobran
---------- Post agregado el 28-nov-2013 hora: 15:40 ----------
En principio si vas a hacer un Allow: / para todos los user-agents la tercera y la cuarta línea sobran
Y esto?
User-agent: *
Disallow:
User-agent: Mediapartners-Google
Disallow:
A ver, con las líneas:
Estás permitiendo que se indexe todo el contenido del sitio (lo cual para adsense, que son las otras dos líneas, es deseable, para el rastreador de google puede serlo o no, depende de tu sitio).
Si usas disallow, lo que haces es no permitir el acceso a la carpeta marcada.
La estructura más frecuente del robots.txt es esta (las páginas con disallow son ejemplos y dependen del sitio: cms, páginas varias...):
Insertar CODE, HTML o PHP:
User-Agent: *
Allow: /Estás permitiendo que se indexe todo el contenido del sitio (lo cual para adsense, que son las otras dos líneas, es deseable, para el rastreador de google puede serlo o no, depende de tu sitio).
Si usas disallow, lo que haces es no permitir el acceso a la carpeta marcada.
La estructura más frecuente del robots.txt es esta (las páginas con disallow son ejemplos y dependen del sitio: cms, páginas varias...):
Insertar CODE, HTML o PHP:
# Reglas para todos los UA
User-Agent: *
# No permitir que se indexen:
Disallow: /admin/
Disallow: /pagina-irrelevante/
# Permitir que se indexe todo lo demás
Allow: /
# Reglas para el robot de Adsense
User-agent: Mediapartners-Google
# Dejar que indexe todo
Allow: /todo correcto! mi duda es si puedo armarlo de esta forma:
User-Agent: *
Allow: /
User-agent: Mediapartners-Google
disallow: /*
User-Agent: *
Allow: /
User-agent: Mediapartners-Google
disallow: /*
Waldd0
Delta
Verificado por Whatsapp
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
- Desde
- 7 Mar 2010
- Mensajes
- 717
[MENTION=31212]clasi[/MENTION], mejor explica qué queres hacer, y te decimos (?) cómo.
Pq de la forma que estás pidiendo armarlo, es incoherente.
Con las primeras dos lineas, definis que es para todos los robots.
PD: esto qué tiene que ver con HTML ? Debería ser charla webmaster, o algo de SEO, buscadores web, etc.
Pq de la forma que estás pidiendo armarlo, es incoherente.
Con las primeras dos lineas, definis que es para todos los robots.
PD: esto qué tiene que ver con HTML ? Debería ser charla webmaster, o algo de SEO, buscadores web, etc.
okk, perdon si esta no es la seccion indicada.
el problema es que el robots que tengo en mis paginas es el siguiente:
User-Agent: *
Allow: /
pero ayer me llego un mensaje de adsense el cual me da un error de "robot denegado" y no lo entiendo, pq con este robots, no tendria que tener un error de robot denegado.
PD: esto qué tiene que ver con HTML ? Debería ser charla webmaster, o algo de SEO, buscadores web, etc.[/QUOTE]
el problema es que el robots que tengo en mis paginas es el siguiente:
User-Agent: *
Allow: /
pero ayer me llego un mensaje de adsense el cual me da un error de "robot denegado" y no lo entiendo, pq con este robots, no tendria que tener un error de robot denegado.
PD: esto qué tiene que ver con HTML ? Debería ser charla webmaster, o algo de SEO, buscadores web, etc.[/QUOTE]
- Desde
- 16 Ago 2010
- Mensajes
- 2.290
Si es de todas las paginas entonces estas permitiendo que todos los robots puedan acceder al contenido y seguir los enlaces
Waldd0
Delta
Verificado por Whatsapp
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
- Desde
- 7 Mar 2010
- Mensajes
- 717
Vos esto:
Insertar CODE, HTML o PHP:
User-agent: Mediapartners-Google
disallow: /*Pasa exactamente el contenido que tenes HOY en tu robots.txt (entendiendo por el archivo tal cual lo tenías al momento de recibir el mensaje de google, no?)
mi robots actual y al momento de recibir el mensaje de google es el siguiente:
User-Agent: *
Allow: /
luego me envia una advertencia en el panel del adsense:
"CORREGIR ERRORES DE RASTREADOR"
y me pone que esta url, el robot ha sido denegado
Wix Login
lo curioso de todo esto es que mis paginas no tienen nada que ver con esta url, no entiendo de donde la saca google!
