Como desindexar certas URLs em arquivo Robots.txt

jose roman 1316 · 21/02/2015

Que tal amigos alguien sabria como poder desindexar las siguientes urls

Inserir CODE, HTML ou PHP:

www.mi-sitio.com/Genero/familiar/page/2
www.mi-sitio.com/Genero/accion/page/6
www.mi-sitio.com/Genero/aventura/page/4
www.mi-sitio.com/Genero/fantasia/page/23
www.mi-sitio.com/Genero/etc.../page/x

pero si quiero que se indexara con

Inserir CODE, HTML ou PHP:

www.mi-sitio.com/Genero/familiar/
www.mi-sitio.com/Genero/aventura

etc etc

alguien sabe como seria ?

muchas gracias por su ayuda 😛8:😛7:

Actualmente tengo este pero no me esta funcionando :

Inserir CODE, HTML ou PHP:

#Ponemos todos los sitemaps

Sitemap: http://mi-sitio.com/sitemap.xml

#Dejamos al robot de publicidad de google que entre hasta la cocina para evitar problemas con la publicidad en paginaciones, búsquedas, etc…

User-agent: Mediapartners-Google
Allow: /

#Desindexamos todo lo que empiece por wp- a excepción de la carpeta uploads

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-

#Desindexamos cualquier tipo de búsqueda y cualquier ruta que pueda llevar el parámetro ? en la url

Disallow: /*?
Disallow: /search/

#Desindexamos cualquier archivo que termine con la extensión .php .js .inc .css

Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

#Desindexamos carpetas de logs, estadísticas y scripts

Disallow: /cgi-bin/
Disallow: /stats/
Disallow: /logs/

#Desindexamos todas las paginaciones

Disallow: /page*/

#Desindexamos posibles paginas con contenido duplicado o que no nos interesan, entre ellas los archivos, los comentarios, las páginas de autor y las tags

Disallow: /comments/
Disallow: /archives/
Disallow: /author/
Disallow: /etiqueta/
Disallow: /fecha-estreno/
Disallow: /idioma/
Disallow: /calidad/

#Desindexamos los feeds, trackbacks y attachments

Disallow: /feed*/
Disallow: /trackback*/
Disallow: /attachment*/

budha · 21/02/2015

Es mas sencillo de lo que parece, abre tu archivo header.php y añade lo siguiente:

PHP:

<?php if ( is_paged() ) { ?>
<meta name="robots" content="noindex,follow" />
<?php } ?>

Simplemente lo que estamos haciendo es decirle a Wordpress que si esta en una paginación añada la meta noindex.

Un saludo

Dotabe · 21/02/2015

Añadiendo esa linea en el header (head o body?) se tendria un archivo listo para los robots que andan por Internet?

budha · 21/02/2015

No no, ese código lo que hace es añadir la meta etiqueta noindex al header de la paginación, de manera que la paginación no será indexada.

jose roman 1316 · 21/02/2015

budha disse:
Es mas sencillo de lo que parece, abre tu archivo header.php y añade lo siguiente:

PHP:

<?php if ( is_paged() ) { ?> <meta name="robots" content="noindex,follow" /> <?php } ?>

Simplemente lo que estamos haciendo es decirle a Wordpress que si esta en una paginación añada la meta noindex.

Un saludo

Ahorita mismo lo hago muchas gracias... 😛8:

luismt · 22/02/2015

budha disse:
Es mas sencillo de lo que parece, abre tu archivo header.php y añade lo siguiente:

PHP:

<?php if ( is_paged() ) { ?> <meta name="robots" content="noindex,follow" /> <?php } ?>

Simplemente lo que estamos haciendo es decirle a Wordpress que si esta en una paginación añada la meta noindex.

Un saludo

Interesante este tema, yo tengo instalado el plugin Yoast WordPress SEO y en: "Títulos y Etiquetas Meta -> Tipo de Entrada -> Páginas" tengo tildado "noindex, follow".
De todas formas cuando cambie la cantidad de entradas a mostrar por páginas me sigue dando errores de rastreo... :ambivalence:

budha · 22/02/2015

Pues ese código que he dejado hace exactamente lo mismo que el yoast, lo que no entiendo es a que te refieres con errores de rastreo, aunque la paginación este con un noindex los artículos deben ser indexados por otros lados.

Como desindexar certas URLs em arquivo Robots.txt

jose roman 1316

budha

Dotabe

budha

jose roman 1316

luismt

budha

Tópicos similares