cual seria el robots.txt correcto.

toni22 · 23 Oct 2012

pues eso ojeando el tutorial de como optimizar vbuletin me queda la duda de cual seria el robots.txt correcto.

segun el tutorial dice que a los sitios que quiera dar acceso a los spiders que lo elimne del documento robots.txt

y el documento robots.txt es este:

Insertar CODE, HTML o PHP:

User-agent: *Disallow: /forums/ajax.php
Disallow: /forums/attachment.php
Disallow: /forums/calendar.php
Disallow: /forums/cron.php
Disallow: /forums/editpost.php
Disallow: /forums/global.php
Disallow: /forums/image.php
Disallow: /forums/inlinemod.php
Disallow: /forums/joinrequests.php
Disallow: /forums/login.php
Disallow: /forums/member.php
Disallow: /forums/memberlist.php
Disallow: /forums/misc.php
Disallow: /forums/moderator.php
Disallow: /forums/newattachment.php
Disallow: /forums/newreply.php
Disallow: /forums/newthread.php
Disallow: /forums/online.php
Disallow: /forums/poll.php
Disallow: /forums/postings.php
Disallow: /forums/printthread.php
Disallow: /forums/private.php
Disallow: /forums/profile.php
Disallow: /forums/register.php
Disallow: /forums/report.php
Disallow: /forums/reputation.php
Disallow: /forums/search.php
Disallow: /forums/sendmessage.php
Disallow: /forums/showgroups.php
Disallow: /forums/subscription.php
Disallow: /forums/threadrate.php
Disallow: /forums/usercp.php
Disallow: /forums/usernote.php

cual seria los sitios mas logicos para dar acceso y negarlo a los spiders?

gracias de antemano y un saludo.

Khriz · 23 Oct 2012

Hola,

Creo que puedes guiarte del robots.txt de vBHispano, es un buen ejemplo, solo elimina las rutas que no existen en tu foro.

Insertar CODE, HTML o PHP:

User-agent: Mediapartners-Google
Disallow:

# Permitir Archiver
User-agent: ia_archiver
Allow: /
Allow: /foros/
User-agent: *
Disallow: *.js
Disallow: *.jsp
Disallow: *.cfm
Disallow: *.asp
Disallow: *.aspx
Disallow: *.cgi
Disallow: /boletines/
Disallow: /descargas/
Disallow: /directorio/
Disallow: /docs/
Disallow: /livezilla/
Disallow: /trans/
Disallow: /vietvbb/
Disallow: /w/
Disallow: /foros/adm/
Disallow: /foros/archive/
Disallow: /foros/calendar/
Disallow: /foros/clientscript/
Disallow: /foros/cpstyles/
Disallow: /foros/customavatars/
Disallow: /foros/customgroupicons/
Disallow: /foros/customprofilepics/
Disallow: /foros/faq/
Disallow: /foros/gfx4_v4GFXed/
Disallow: /foros/images/
Disallow: /foros/includes/
Disallow: /foros/install/
Disallow: /foros/lytebox/
Disallow: /foros/microsupport/
Disallow: /foros/mobiquo/
Disallow: /foros/multimedia/
Disallow: /foros/normas/
Disallow: /foros/packages/
Disallow: /foros/projectadjuntos/
Disallow: /foros/signaturepics/
Disallow: /foros/vb/
Disallow: /foros/vbadjuntos/
Disallow: /foros/vbseo/
Disallow: /foros/vietvbb/
Disallow: /foros/xc/
Disallow: /foros/ajax.php
Disallow: /foros/album.php
Disallow: /foros/announcement.php
Disallow: /foros/asset.php
Disallow: /foros/assetmanage.php
Disallow: /foros/attachment_inlinemod.php
Disallow: /foros/blog_ajax.php
Disallow: /foros/blog_attachment.php
Disallow: /foros/blog_inlinemod.php
Disallow: /foros/blog_report.php
Disallow: /foros/blog_search.php
Disallow: /foros/blog_suscription.php
Disallow: /foros/blog_usercp.php
Disallow: /foros/buscar.php
Disallow: /foros/calendar.php
Disallow: /foros/converse.php
Disallow: /foros/cron.php
Disallow: /foros/css.php
Disallow: /foros/editor.php
Disallow: /foros/editpost.php
Disallow: /foros/external.php
Disallow: /foros/faq.php
Disallow: /foros/global.php
Disallow: /foros/group_inlinemod.php
Disallow: /foros/groupsubscription.php
Disallow: /foros/image.php
Disallow: /foros/infraction.php
Disallow: /foros/inlinemod.php
Disallow: /foros/joinrequests.php
Disallow: /foros/login.php
Disallow: /foros/member.php
Disallow: /foros/member_inlinemod.php
Disallow: /foros/memberlist.php
Disallow: /foros/misc.php
Disallow: /foros/moderation.php
Disallow: /foros/moderator.php
Disallow: /foros/newattachment.php
Disallow: /foros/newreply.php
Disallow: /foros/newthread.php
Disallow: /foros/online.php
Disallow: /foros/payment_gateway.php
Disallow: /foros/payments.php
Disallow: /foros/picture_inlinemod.php
Disallow: /foros/picturecomment.php
Disallow: /foros/poll.php
Disallow: /foros/posthistory.php
Disallow: /foros/postings.php
Disallow: /foros/printthread.php
Disallow: /foros/private.php
Disallow: /foros/profile.php
Disallow: /foros/projectajax.php
Disallow: /foros/projectmilestone.php
Disallow: /foros/projectpost.php
Disallow: /foros/projectsearch.php
Disallow: /foros/receiver.php
Disallow: /foros/register.php
Disallow: /foros/report.php
Disallow: /foros/reputation.php
Disallow: /foros/rules.php
Disallow: /foros/search.php
Disallow: /foros/sendmessage.php
Disallow: /foros/showgroups.php
Disallow: /foros/suscription.php
Disallow: /foros/threadrate.php
Disallow: /foros/threadtag.php
Disallow: /foros/usercp.php
Disallow: /foros/usernote.php
Disallow: /foros/vbseo.php
Disallow: /foros/vbseocp.php
Disallow: /foros/visitormessage.php
Disallow: /foros/widget.php
Disallow: /foros/xmlsitemap.php

Sitemap: http://www.vbhispano.com/foros/sitemap_index.xml.gz

vbluis · 24 Oct 2012

Gracias pr la informacion. Yo en "User-agent:" tengo puesto: *

La verdad hace mucho y no se por que. Que debería ir en ese lugar?

Por cierto, el archivo robot.txt lo tengo subido en la raiz del foro, es correcto? M carpeta raiz es mydominio.es/foro/htdocs..... tendria que poner entonces en lugar de

"Disallow: /foros/calendar/"
"Disallow: /foro/htdocs/calendar/"

Gracias

Khriz · 25 Oct 2012

Hola,

el comodín: * , significa "todos", es decir todos los robots que visiten tu sitio seguirán las reglas que describas luego del User-agent: *
ahí puedes permitir (allow) o denegar (disallow) el acceso a las carpetas o archivos, para evitar que los bot agreguen información innecesaria a los resultados de búsqueda.

para mas información puedes visitar: The Web Robots Pages

Saludos.

vbluis · 26 Oct 2012

Khriz Hi dijo:
Hola,

el comodín: * , significa "todos", es decir todos los robots que visiten tu sitio seguirán las reglas que describas luego del User-agent: *
ahí puedes permitir (allow) o denegar (disallow) el acceso a las carpetas o archivos, para evitar que los bot agreguen información innecesaria a los resultados de búsqueda.

para mas información puedes visitar: The Web Robots Pages

Saludos.

Gracias lo he leído y he aplicado algunos cambios a mi robot.txt

Antes lo tenia alojado en www.midominio.es/foro/htdocs por que ahi tenia el foro instalado pero ahora lo he puesto en www.midominio.es

Una pregunta por que no entiendo muy bien las rutas a deshabilitar. Por lo que he visto en el robot.txt de vbhispano poneis tanto rutas ("Disallow: /foro/htdocs/calendar/") como carpetas ftp (Disallow: /foros/includes/).

Es correcto? Así podre revisar lo mismo en mi foro.

Tengo mucho interes en que los articulos CMS publicados sean accesible para las arañas. Para asegurarme que no lo haya bloqueado cual seria el código?

Muchas gracias

Mauro25987 · 1 Nov 2012

por que la necesidad de negar los spiders? no afectaría al buscador de google?
disculpen mi ignorancia.

vbluis · 3 Nov 2012

Hola. Se trata de una cuestión de calidad frente a cantidad. Si no restringes el acceso una araña indexara todo lo que tienes en el foro, que imagina que pueden ser 100.000 enlaces y cada día generas 1000 mas, pero no todos tienen la misma importancia y mientras indexa unos deja otros y los que deja podrían ser los post publicados, perdiendo relevancia tu foro.

Un saludo

Mauro25987 · 3 Nov 2012

vBLuis dijo:
Hola. Se trata de una cuestión de calidad frente a cantidad. Si no restringes el acceso una araña indexara todo lo que tienes en el foro, que imagina que pueden ser 100.000 enlaces y cada día generas 1000 mas, pero no todos tienen la misma importancia y mientras indexa unos deja otros y los que deja podrían ser los post publicados, perdiendo relevancia tu foro.

Un saludo

No entiendo mucho tu respuesta, pero si restringo todo, no se va a indexar mi foro y me afectaría a la hora de que me encuentren en el buscador de google, o no es así?

vbluis · 3 Nov 2012

Mauro25987 dijo:
No entiendo mucho tu respuesta, pero si restringo todo, no se va a indexar mi foro y me afectaría a la hora de que me encuentren en el buscador de google, o no es así?

No tienes que restringuirlo todo claro. Solo aquellas carpetas irrelevantes. Por ejemplo que una araña indexe tu carpea de admincp es innecesario. Pero si no lo restringues perdera tiempo haciendolo en vez de indexar tus ultimos mensajes del dia.

Saludos

Khriz · 6 Nov 2012

es por seguridad tambien, por ejemplo para restringir que los bots se pasen por archivos que tienen datos de la DB de tu foro como el config.php
y los archivos del admincp.

Saludos.