Causas y soluciones para páginas excesivamente indexadas

[MarceloCV]

Buenas betas, revisando que paginas estaban indexadas, me di cuenta que mi sitio web tiene un monton de paginas indexadas, y no se como rayos esto sucedio, ni tampoco como preveerlo, si alguien me puede ayudar lo agradeceria.

 

[Cicklow]

Archivo robots.txt: Cómo funciona y cómo modificarlo

Manual para entender el archivo robots.txt y su aplicación a instalaciones de WordPress, con reglas para optimizar tu robots.txt.

raiolanetworks.es

 

[algoepico]

Si le metes un bloqueo por robots.txt a URLs que ya están indexadas, probablemente no desaparecerán todas del buscador (sobre todo si alguna de ellas tiene enlaces entrantes). Es mejor tener bien los index y no index. Luego ya puedes (opcionalmente) toquetear tu robots.txt para optimizar el presupuesto de rastreo, pero mucho ojo con esto.

Creo que estás utilizando Rank Math. Lo primero y más directo es que entres en los menús de Rank Math y revises qué contenidos tienes en index y no deberían estarlo (y los cambies a no index, claro).

Lo segundo que puedes hacer, para asegurarte de que no te dejas nada, es entrar en tu Search Console y tomarte un tiempo para revisar una a una qué URLs estás indexadas. Hazte una lista de las que sobran y luego ordénala, agrupando URLs similares. Con eso podrás sacar conclusiones. Habrá URLs a las que tal vez les tengas que poner en no index de forma manual (tipo página de términos y condiciones y cosas así).

 

[PJara]

Primero deberas colocar las url en nofollow para que el crawler de google no lo siga, y luego cuando lo desindexe le tendrás que meter el robots.txt

 

[MarceloCV]

Si le metes un bloqueo por robots.txt a URLs que ya están indexadas, probablemente no desaparecerán todas del buscador (sobre todo si alguna de ellas tiene enlaces entrantes). Es mejor tener bien los index y no index. Luego ya puedes (opcionalmente) toquetear tu robots.txt para optimizar el presupuesto de rastreo, pero mucho ojo con esto.

Creo que estás utilizando Rank Math. Lo primero y más directo es que entres en los menús de Rank Math y revises qué contenidos tienes en index y no deberían estarlo (y los cambies a no index, claro).

Lo segundo que puedes hacer, para asegurarte de que no te dejas nada, es entrar en tu Search Console y tomarte un tiempo para revisar una a una qué URLs estás indexadas. Hazte una lista de las que sobran y luego ordénala, agrupando URLs similares. Con eso podrás sacar conclusiones. Habrá URLs a las que tal vez les tengas que poner en no index de forma manual (tipo página de términos y condiciones y cosas así).

Estoy tratando de desindexar estas urls de forma manual con la herramienta que proporciona GSC pero me dice que dicha url no es de mi propiedad.

 

[MarceloCV]

Primero deberas colocar las url en nofollow para que el crawler de google no lo siga, y luego cuando lo desindexe le tendrás que meter el robots.txt

Como yo podria meterle no follow a los links?

 

[PJara]

Tu plantilla es nulled? osea pirata, has pagado por la plantilla?

 

[algoepico]

La manera más rápida de hacerlo es como te dije en mi anterior mensaje:

Menú Rank Math (dentro del panel de admin de tu web) -> Títulos y meta -> Verifica uno a uno cada tipo de contenido y ve poniendo en "no index" aquellos que no quieran que se indexen. No te olvides de darle a guardar cuando termines jeje

Para contenidos concretos (cuando tengas que poner no index a uno en particular pero no a todos los de su tipo), lo editas y lo pones en no index (entre las opciones del editor te aparecerán las de Rank Math).

 

[PJara]

Te has equivocado al ponerlo en index cuanddo no has trabajado nada la pagina compañero. Desde el mismo panel de Wordpress en el apartado de Ajustes - Lectura, marca la casilla de disuadir a los motores de búsqueda. Trabaja bien tu cotenido y la estructura web, y luego deshabilita la opción de disuadir a los mtores de busqueda.

 

[MarceloCV]

La manera más rápida de hacerlo es como te dije en mi anterior mensaje:

Menú Rank Math (dentro del panel de admin de tu web) -> Títulos y meta -> Verifica uno a uno cada tipo de contenido y ve poniendo en "no index" aquellos que no quieran que se indexen. No te olvides de darle a guardar cuando termines jeje

Para contenidos concretos (cuando tengas que poner no index a uno en particular pero no a todos los de su tipo), lo editas y lo pones en no index (entre las opciones del editor te aparecerán las de Rank Math).

Ya estoy en eso, ya puse muchas cosas en noindex que no deberian ser indexados, tambien he actualizado el robot.txt no tenia ningun robot.text configurado

 

[algoepico]

No creo que haya que llegar a tanto. Es una página pequeña, con unas 100 URLs. Las correcciones que te digo las puedes hacer en minutos.

 

[MarceloCV]

No creo que haya que llegar a tanto. Es una página pequeña, con unas 100 URLs. Las correcciones que te digo las puedes hacer en minutos.

Ya estoy en eso, agradecido!

 

[algoepico]

Ya estoy en eso, ya puse muchas cosas en noindex que no deberian ser indexados, tambien he actualizado el robot.txt no tenia ningun robot.text configurado

Yo que tú, no tocaría el robots.txt

Hazme caso, puede provocarte muchos dolores de cabeza.

Los metas noindex le dicen a Google que no indexe una página, pero las directivas en el robots.txt suelen ser bloqueos y entonces Google no entra en esas URLs. Esto provoca a veces cosas extrañas como que una URL que tienes en noindex, sí está indexada pero sin título ni descripción porque tiene un enlace entrante y Google no es capaz de entrar en ella (por el bloqueo del robots) para comprobar que está en noindex.

 

[MarceloCV]

Yo que tú, no tocaría el robots.txt

Hazme caso, puede provocarte muchos dolores de cabeza.

Los metas noindex le dicen a Google que no indexe una página, pero las directivas en el robots.txt suelen ser bloqueos y entonces Google no entra en esas URLs. Esto provoca a veces cosas extrañas como que una URL que tienes en noindex, sí está indexada pero sin título ni descripción porque tiene un enlace entrante y Google no es capaz de entrar en ella (por el bloqueo del robots) para comprobar que está en noindex.

Entiendo, entonces es mejor no tocarlo, y dejarlo como lo tiene establecido rank math por defecto?

Tengo una duda, deberia dejar los post formats index o no?

 

[algoepico]

Ya estoy en eso, agradecido!

Con eso se solucionará, ya verás. Eso sí, Google se toma su tiempo para desindexar, así que tómatelo con paciencia jeje

 

[MarceloCV]

Con eso se solucionará, ya verás. Eso sí, Google se toma su tiempo para desindexar, así que tómatelo con paciencia jeje

Tengo otra duda, debido que no puedo desindexar estas urls a travez del GSC, como puedo desindexarlo de otra forma?

 

[algoepico]

Entiendo, entonces es mejor no tocarlo, y dejarlo como lo tiene establecido rank math por defecto?

Tengo una duda, deberia dejar los post formats index o no?

Ver el archivo adjunto 450374

Lo mejor, en mi opinión, es que los pongas en noindex. Son thin content y contenido duplicado.

 

[algoepico]

Tengo otra duda, debido que no puedo desindexar estas urls a travez del GSC, como puedo desindexarlo de otra forma?

Ver el archivo adjunto 450377

Solo es cuestión de esperar. Asegúrate de que pones en noindex todas las que quieres desindexar y Google lo irá haciendo con el paso de las semanas o meses.

 

[NFerreiro]

Ponlo todo en No Index y elimina las URL's desde el Search Console. Tienes un apartado específicamente para ello!
Es lo más sencillo.

¡Saludos!

 

[MarceloCV]

Ponlo todo en No Index y elimina las URL's desde el Search Console. Tienes un apartado específicamente para ello!
Es lo más sencillo.

¡Saludos!

Cuando lo intento, el GSC dice que no es mi propiedad, lo cual no entiendo porque sale ese error si mi sitio web ha sido reclamado, y todo marcha bien, excepto ese error que acabo de encontrar