Ayuda con robots.txt para wordpress y adsense

soniababy · 22 Nov 2012

Hola, tengo un archivo robots.txt creado para wordpress y adsense pero no se si es bueno o no, lo cogi de una web que lo aconsejaban pero se publico en el año 2010 :witless:
Queria saber si me podeis mostrar alguno que funcione bien para poderme hacer uno,
tambien aprovecho para preguntaros si es bueno el disallow en los tags etc.

Gracias a todos, un saludo 🙂

Soulgfx · 22 Nov 2012

Te indico el que uso actualmente, ninguna pega hasta la fecha

Insertar CODE, HTML o PHP:

# Archivo robots.txt para WordPress
# http://www.soulgfx.net
#
# Robots.txt
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
# Desindexar entradas duplicadas, comentarios y trackbacks
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /?s=
Disallow: /search

User-agent: Googlebot
# No indexar archivos terminados con estas extensiones
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*?*
Disallow: /*.txt$

# Permitir bot de Adsense. Opcional, pero recomedable si lo usamos.
User-agent: Mediapartners-Google*
Disallow:
# Permitir a Google Imagenes indexar nuestras imagenes. Opcional.
User-agent: Googlebot-Image
Disallow:
# Limitar los bots de Yahoo, MSN y Noxtrum. Opcional.
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10

soniababy · 22 Nov 2012

Soulgfx dijo:

Te indico el que uso actualmente, ninguna pega hasta la fecha

Insertar CODE, HTML o PHP:

# Archivo robots.txt para WordPress
# http://www.soulgfx.net
#
# Robots.txt
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
# Desindexar entradas duplicadas, comentarios y trackbacks
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /?s=
Disallow: /search

User-agent: Googlebot
# No indexar archivos terminados con estas extensiones
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*?*
Disallow: /*.txt$

# Permitir bot de Adsense. Opcional, pero recomedable si lo usamos.
User-agent: Mediapartners-Google*
Disallow:
# Permitir a Google Imagenes indexar nuestras imagenes. Opcional.
User-agent: Googlebot-Image
Disallow:
# Limitar los bots de Yahoo, MSN y Noxtrum. Opcional.
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10

Hola gracias por ayudarme 🙂

Lo copiare, yo en el mio tenia disallow a los tags y las category, no se si esto es bueno o malo, quizas puedas decirme.

Gracias, chaito 🙂

Soulgfx · 22 Nov 2012

Pues no sabría decirte con seguridad, pero dependiendo de cuantas etiquetas tengas en el sitio, obviamente si tienes 1500++ es bueno desactivarlo seguro, ya que esa información no le interesa demasiado al robot del buscador. Pero si eres un micronicho de unas 20 etiquetas más o menos no veo por qué no.

Saludos y a mandar

Ayuda con robots.txt para wordpress y adsense

soniababy

Soulgfx

soniababy

Soulgfx

Temas similares