Cómo deshabilitar URLS de RSS en robots.txt

kaostech · 12 Oct 2010

hola,

Para desabilitar del robot de Google todos mis URLS que terminen en: "/feed" (/xxx/xxx/feed)

La linea en robots.txt seria:?

Disallow: /*/feed

o

Disallow: */feed

Gracias,

Carlos.

Pixel · 12 Oct 2010

creo que una de esas lineas termina en feed/$. Busqué y encontre esto:

Disallow: */feed/
Disallow: /*/feed/rss/$

toledano · 12 Oct 2010

Disallow: /feed/
Disallow: /feed

[off-topic]
En last.fm implementaron las tres leyes de la robótica de Asimov en robots.txt

Insertar CODE, HTML o PHP:

http://www.last.fm/robots.txt

Asi o mas geek?
[/off-topic]

kaostech · 12 Oct 2010

Gracias por sus respuestas.

Con: Disallow: /feed deberia funcionar. (siempre es la ultima cadena del URL)

(muy bueno el http://www.last.fm/robots.txt, debe haber alguna pagina con otros ejemplos, por ejemplo un robots.txt para casados :rolleyes1🙂

iamfrontend · 12 Oct 2010

que ventajas tiene implementar esto en WP?

toledano · 12 Oct 2010

Giel dijo:
que ventajas tiene implementar esto en WP?

Robots.txt no aplica únicamente a wordpress, sino a cualquier web y básicamente sirve para indicar a los bots o robots buscadores que contenido pueden indexar y cual no. En el caso de las fuentes de noticias, es completamente innecesario que sean indexadas, porque su contenido ya es indexado en el contenido principal.

Indexar dos veces el contenido idéntico es penalizado por google, que lo considera contenido duplicado (copy & paste) y usando robots.txt se evita este problema.

Pero aplica para cualquier web.

solo · 12 Oct 2010

yo lo tengo de esta manera, por si le sirve a alguien:

Insertar CODE, HTML o PHP:

User-agent: *
Disallow: /wp-
Disallow: /feed
Disallow: /comments/feed
Allow: /flag/$
Allow: /ico/$
Allow:/browser/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /feed/$
Disallow: /feed/rss/$
Disallow: /trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Allow: /wp-content/uploads
 
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
 
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
 
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
 
# digg mirror
User-agent: duggmirror
Disallow: /

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: [url]http://tudominio.com/sitemap.xml.gz[/url]
# END XML-SITEMAP-PLUGIN

kaostech · 17 Oct 2010

solo dijo:

yo lo tengo de esta manera, por si le sirve a alguien:

Insertar CODE, HTML o PHP:

User-agent: *
Disallow: /wp-
Disallow: /feed
Disallow: /comments/feed
Allow: /flag/$
Allow: /ico/$
Allow:/browser/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /feed/$
Disallow: /feed/rss/$
Disallow: /trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Allow: /wp-content/uploads
 
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
 
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
 
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
 
# digg mirror
User-agent: duggmirror
Disallow: /

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: [url]http://tudominio.com/sitemap.xml.gz[/url]
# END XML-SITEMAP-PLUGIN

Gracias por compartir tu robots.txt

solo · 18 Oct 2010

kaostech dijo:
Gracias por compartir tu robots.txt

No hay de queso :wink1:

Cómo deshabilitar URLS de RSS en robots.txt

kaostech

Pixel

toledano

kaostech

iamfrontend

toledano

solo

kaostech

solo

Temas similares