robots.txt !!!

  • Autor Autor galvispat
  • Fecha de inicio Fecha de inicio
G

galvispat

Gamma
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
hola. bueno, el problema es que no tengo un robots.txt y la verdad, no entiendo mucho de SEO, y no se que es bueno y que no permitir indexar. buscando un poco, me tope con el robots de vbhispano:

Insertar CODE, HTML o PHP:
# Permitir Archiver
User-agent: ia_archiver
Allow: /
Allow: /foros/

User-agent: *
Disallow: *.js
Disallow: *.jsp
Disallow: *.cfm
Disallow: *.asp
Disallow: *.aspx
Disallow: *.cgi
Disallow: /boletines/
Disallow: /descargas/
Disallow: /directorio/
Disallow: /docs/
Disallow: /livezilla/
Disallow: /trans/
Disallow: /vietvbb/
Disallow: /w/
Disallow: /foros/archive/
Disallow: /foros/calendar/
Disallow: /foros/clientscript/
Disallow: /foros/cpstyles/
Disallow: /foros/customavatars/
Disallow: /foros/customgroupicons/
Disallow: /foros/customprofilepics/
Disallow: /foros/faq/
Disallow: /foros/gfx4_v4GFXed/
Disallow: /foros/images/
Disallow: /foros/includes/
Disallow: /foros/install/
Disallow: /foros/lytebox/
Disallow: /foros/microsupport/
Disallow: /foros/mobiquo/
Disallow: /foros/multimedia/
Disallow: /foros/normas/
Disallow: /foros/packages/
Disallow: /foros/projectadjuntos/
Disallow: /foros/signaturepics/
Disallow: /foros/vb/
Disallow: /foros/vbadjuntos/
Disallow: /foros/vbseo/
Disallow: /foros/vietvbb/
Disallow: /foros/xc/
Disallow: /foros/ajax.php
Disallow: /foros/album.php
Disallow: /foros/announcement.php
Disallow: /foros/asset.php
Disallow: /foros/assetmanage.php
Disallow: /foros/attachment_inlinemod.php
Disallow: /foros/blog_ajax.php
Disallow: /foros/blog_attachment.php
Disallow: /foros/blog_inlinemod.php
Disallow: /foros/blog_report.php
Disallow: /foros/blog_search.php
Disallow: /foros/blog_suscription.php
Disallow: /foros/blog_usercp.php
Disallow: /foros/buscar.php
Disallow: /foros/calendar.php
Disallow: /foros/converse.php
Disallow: /foros/cron.php
Disallow: /foros/css.php
Disallow: /foros/editor.php
Disallow: /foros/editpost.php
Disallow: /foros/external.php
Disallow: /foros/faq.php
Disallow: /foros/global.php
Disallow: /foros/group_inlinemod.php
Disallow: /foros/groupsubscription.php
Disallow: /foros/image.php
Disallow: /foros/infraction.php
Disallow: /foros/inlinemod.php
Disallow: /foros/joinrequests.php
Disallow: /foros/login.php
Disallow: /foros/member.php
Disallow: /foros/member_inlinemod.php
Disallow: /foros/memberlist.php
Disallow: /foros/misc.php
Disallow: /foros/moderation.php
Disallow: /foros/moderator.php
Disallow: /foros/newattachment.php
Disallow: /foros/newreply.php
Disallow: /foros/newthread.php
Disallow: /foros/online.php
Disallow: /foros/payment_gateway.php
Disallow: /foros/payments.php
Disallow: /foros/picture_inlinemod.php
Disallow: /foros/picturecomment.php
Disallow: /foros/poll.php
Disallow: /foros/posthistory.php
Disallow: /foros/postings.php
Disallow: /foros/printthread.php
Disallow: /foros/private.php
Disallow: /foros/profile.php
Disallow: /foros/projectajax.php
Disallow: /foros/projectmilestone.php
Disallow: /foros/projectpost.php
Disallow: /foros/projectsearch.php
Disallow: /foros/receiver.php
Disallow: /foros/register.php
Disallow: /foros/report.php
Disallow: /foros/reputation.php
Disallow: /foros/rules.php
Disallow: /foros/search.php
Disallow: /foros/sendmessage.php
Disallow: /foros/showgroups.php
Disallow: /foros/suscription.php
Disallow: /foros/threadrate.php
Disallow: /foros/threadtag.php
Disallow: /foros/usercp.php
Disallow: /foros/usernote.php
Disallow: /foros/vbseo.php
Disallow: /foros/vbseocp.php
Disallow: /foros/visitormessage.php
Disallow: /foros/widget.php
Disallow: /foros/xmlsitemap.php

Sitemap: http://www.vbhispano.com/foros/sitemap_index.xml.gz

Ahora mi pregunta es, ¿como hago un robots.txt?
¿Puedo usar el mismo de vbhispano, pero cambiando las rutas?
¿O que tengo que hacer para conseguir uno?

Agrego que uso vbseo.
 
Hola,

Siéntete libre de utilizar el robots.txt de vBHispano, es un ejemplo óptimo a seguir. Naturalmente eliminas las rutas que no existen en tu foro.
 
Muchas gracias por la autorisacion, ahora mismo lo usare ^^

---------- Actualizado a las 23:09 ---------- Original a las 23:03 ----------

Agrego que ya termine de modificarlo, solo que no se si dañaria algo, se que no puedo hacer dos consultas en el mismo post, pero... no quiero hacer spam preguntando lo mismo en otro.

Insertar CODE, HTML o PHP:
# Permitir Archiver
User-agent: ia_archiver
Allow: /
Allow: /foro/

User-agent: *
Disallow: /foro/archive/
Disallow: /foro/calendar/
Disallow: /foro/clientscript/
Disallow: /foro/cpstyles/
Disallow: /foro/customavatars/
Disallow: /foro/customgroupicons/
Disallow: /foro/customprofilepics/
Disallow: /foro/faq/
Disallow: /foro/gfx4_v4GFXed/
Disallow: /foro/images/
Disallow: /foro/includes/
Disallow: /foro/install/
Disallow: /foro/vbseo/
Disallow: /foro/ajax.php
Disallow: /foro/album.php
Disallow: /foro/announcement.php
Disallow: /foro/asset.php
Disallow: /foro/assetmanage.php
Disallow: /foro/attachment_inlinemod.php
Disallow: /foro/calendar.php
Disallow: /foro/converse.php
Disallow: /foro/cron.php
Disallow: /foro/css.php
Disallow: /foro/editor.php
Disallow: /foro/editpost.php
Disallow: /foro/external.php
Disallow: /foro/faq.php
Disallow: /foro/global.php
Disallow: /foro/group_inlinemod.php
Disallow: /foro/groupsubscription.php
Disallow: /foro/image.php
Disallow: /foro/infraction.php
Disallow: /foro/inlinemod.php
Disallow: /foro/joinrequests.php
Disallow: /foro/login.php
Disallow: /foro/member.php
Disallow: /foro/member_inlinemod.php
Disallow: /foro/memberlist.php
Disallow: /foro/misc.php
Disallow: /foro/moderation.php
Disallow: /foro/moderator.php
Disallow: /foro/newattachment.php
Disallow: /foro/newreply.php
Disallow: /foro/newthread.php
Disallow: /foro/online.php
Disallow: /foro/payment_gateway.php
Disallow: /foro/payments.php
Disallow: /foro/picture_inlinemod.php
Disallow: /foro/picturecomment.php
Disallow: /foro/poll.php
Disallow: /foro/posthistory.php
Disallow: /foro/postings.php
Disallow: /foro/printthread.php
Disallow: /foro/private.php
Disallow: /foro/profile.php
Disallow: /foro/receiver.php
Disallow: /foro/register.php
Disallow: /foro/report.php
Disallow: /foro/reputation.php
Disallow: /foro/rules.php
Disallow: /foro/search.php
Disallow: /foro/sendmessage.php
Disallow: /foro/showgroups.php
Disallow: /foro/suscription.php
Disallow: /foro/threadrate.php
Disallow: /foro/threadtag.php
Disallow: /foro/usercp.php
Disallow: /foro/usernote.php
Disallow: /foro/vbseo.php
Disallow: /foro/vbseocp.php
Disallow: /foro/visitormessage.php
Disallow: /foro/widget.php
Disallow: /foro/xmlsitemap.php

Sitemap: http://www.facedownt.net/foro/sitemap_index.xml.gz

Gracias, y espero que este bien, asi lo subo al root de mi sitio :$
 
Yo sacaría estas líneas:

Disallow: /foro/calendar/
Disallow: /foro/faq/
Disallow: /foro/gfx4_v4GFXed/
Disallow: /foro/rules.php

A menos que existan en tu foro 😉.

Saludos.
 
eliminadas, gracias maestro ^^
 
Atrás
Arriba