B
brunouy
Beta
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Hola Betas, paso a comentarles un problema que tuve en mi ansia por bloquear contenido duplicado...
Esto, personalmente no lo sabía y no sé en realidad cuantos de los que leerán este hilo realmente lo saben, esta experiencia me llevo a publicar este post Robots.txt y su uso con prudencia | Webmaster: Consulta, Comparte y Debate vinculándolo con Contenido Duplicado donde comento algunos detalles extras sobre mi experiencia con Robots.txt y google...
En mi afán de facilitarle la vida al bot, comencé a bloquear algunos parámetros que aparecían en mi web entre ellos me apearece "#" para el cual lo que parece coherente agrego la siguiente línea:
Disallow: /*/#
Resulta que fué un tiró en la nuca!!! aún no se que representa numeral "#" a nivel de robots, pero lo asumí como un caracter más, resulta que esa línea me bloqueó todas las URL del sitio salvo la raíz del dominio al rastreo del los bot's.
Consecuencia: Ya van 2 días sin rastreo y las URL agregadas aparecen con esta descripción: "No se dispone de una descripción de este resultado debido a robots.txt. Más información."
A estar cuidadosos con el uso de Robots.txt
Esto, personalmente no lo sabía y no sé en realidad cuantos de los que leerán este hilo realmente lo saben, esta experiencia me llevo a publicar este post Robots.txt y su uso con prudencia | Webmaster: Consulta, Comparte y Debate vinculándolo con Contenido Duplicado donde comento algunos detalles extras sobre mi experiencia con Robots.txt y google...
En mi afán de facilitarle la vida al bot, comencé a bloquear algunos parámetros que aparecían en mi web entre ellos me apearece "#" para el cual lo que parece coherente agrego la siguiente línea:
Disallow: /*/#
Resulta que fué un tiró en la nuca!!! aún no se que representa numeral "#" a nivel de robots, pero lo asumí como un caracter más, resulta que esa línea me bloqueó todas las URL del sitio salvo la raíz del dominio al rastreo del los bot's.
Consecuencia: Ya van 2 días sin rastreo y las URL agregadas aparecen con esta descripción: "No se dispone de una descripción de este resultado debido a robots.txt. Más información."
A estar cuidadosos con el uso de Robots.txt
Última edición: