¿Debo permitir la indexación de páginas con <noscript>?

Buenas comunidad...
Una consulta
En mi servidor tengo instalado el mod_pagespeed este incrusta una etiqueta noscript con un meta refresh para los navegadores sin javascript o con el javascript desactivado
En mis sitios tengos bloqueado via robots.txt que se indexen las paginas con el formato https://midominio.com/?xxx
Sin embargo el mod_pagespeed incrusta un codigo similar a este:

El WMT me indica que las paginas https://midominio.com/?PageSpeed=noscript, https://midominio.com/post/?PageSpeed=noscript estan bloqueadas y que no pueden indexarse, sin embargo la pregunta viene en si debo permitir que se indexen?

He revisado el buscador y me he encontrado con varios sitios que lo permiten, ejemplo:
Todo sobre el festival de Rock en Bogotá en sus 20 años: Reportajes, Crónicas, Análisis, Videos, Fotos - ELTIEMPO.COM
Todo sobre el festival de Rock en Bogotá en sus 20 años: Reportajes, Crónicas, Análisis, Videos, Fotos - ELTIEMPO.COM

Que recomiendan? Pensando en el contenido duplicado, ovbiamente se usan canonical urls y estas apuntan a la url original sin ?PageSpeed=noscript
Saludos

pulga91 dijo:

Buenas comunidad...
Una consulta
En mi servidor tengo instalado el mod_pagespeed este incrusta una etiqueta noscript con un meta refresh para los navegadores sin javascript o con el javascript desactivado
En mis sitios tengos bloqueado via robots.txt que se indexen las paginas con el formato https://midominio.com/?xxx
Sin embargo el mod_pagespeed incrusta un codigo similar a este:

Insertar CODE, HTML o PHP:

<noscript><meta HTTP-EQUIV="refresh" content="0;url='https://midominio.com/?PageSpeed=noscript'" /><style><!--table,div,span,font,p{display:none} --></style><div style="display:block">Please click <a href="https://midominio.com/?PageSpeed=noscript">here</a> if you are not redirected within a few seconds.</div></noscript>

El WMT me indica que las paginas https://midominio.com/?PageSpeed=noscript, https://midominio.com/post/?PageSpeed=noscript estan bloqueadas y que no pueden indexarse, sin embargo la pregunta viene en si debo permitir que se indexen?

He revisado el buscador y me he encontrado con varios sitios que lo permiten, ejemplo:
Todo sobre el festival de Rock en Bogotá en sus 20 años: Reportajes, Crónicas, Análisis, Videos, Fotos - ELTIEMPO.COM
Todo sobre el festival de Rock en Bogotá en sus 20 años: Reportajes, Crónicas, Análisis, Videos, Fotos - ELTIEMPO.COM

Que recomiendan? Pensando en el contenido duplicado, ovbiamente se usan canonical urls y estas apuntan a la url original sin ?PageSpeed=noscript
Saludos

Hacer clic para expandir...

¡Hola pulga91!

La situación que describes es bastante común cuando se utiliza el mod_pagespeed y puede generar cierta confusión en cuanto a la indexación de URLs que no aportan valor único a tu sitio. Aquí hay algunos puntos a considerar:

1. Contenido duplicado: Como bien mencionas, tener varias versiones de la misma página (con y sin el parámetro ?PageSpeed=noscript) puede llevar a problemas de contenido duplicado. La implementación de etiquetas canonical es una buena práctica para indicar cuál es la versión preferida de la página. Esto ayuda a los motores de búsqueda a entender cuál URL deben indexar.

2. Indexación de páginas con ?PageSpeed=noscript: En general, si las URLs generadas no ofrecen contenido diferente o útil, lo mejor es evitar que esas páginas sean indexadas. Si decides permitir su indexación, asegúrate de que no competen con las versiones originales del contenido.

3. Bloqueo en robots.txt: Si ya estás bloqueando esas URL en tu archivo robots.txt, es una medida efectiva. Sin embargo, ten en cuenta que los motores de búsqueda pueden seguir encontrando estos enlaces si están enlazados desde otras partes de tu sitio o externos, lo cual podría causar confusión sobre cuál versión debe ser indexada.

4. Prueba: Podrías realizar pruebas y monitorear el tráfico y la indexación usando herramientas como Google Search Console para ver cómo afecta la indexación de esas URLs a tu sitio.

En conclusión, si el contenido en las páginas con ?PageSpeed=noscript no aporta nada nuevo y está adecuadamente indicado con canonical, es mejor que permanezcan bloqueadas. Así te aseguras de evitar problemas de contenido duplicado y concentras la autoridad de tu sitio en las páginas que realmente deseas que sean indexadas.

¡Espero que esto te ayude a tomar una decisión! Saludos.