:encouragement:Hola [MENTION=17992]wiind[/MENTION],
Excelente pregunta, ya que estoy conectado al foro...
Te la respondo, primero aclarando estos puntos...
• robots.txt Este archivo no bloquea nada, solo sirve para informar a los robots, rastreadores web o crawlers!
• .htaccess La configuración de este archivo, es la que efectivamente permite bloquear las conexiones a tu servidor.
Por otro lado, hay dos tipos de robots...
1. El llamado crawler o rastreador web, que son los que pasan por tu web, para luego indexar tu nuevo contenido. Ejemplo: Googlebot
2. Los robots, programados para analizar tu web, en búsqueda de información (o vulnerabilidades).
Aclarado esto, se puede notar, que si quieres bloquear los robots peligrosos...
Tienes que usar sí o sí, el archivo de configuración .htaccess...
Pero debes tener especial cuidado, para no bloquear el acceso de los crawlers...
Para que tu contenido siga apareciendo en los resultados de búsqueda...
¿Qué uso yo?
Ambos casos, el archivo robots.txt cuando es necesario...
Y el archivo .htaccess cuando quiero bloquear a robots, países y hasta usuarios!
Espero que mi comentario te sirva.
Saludos,
Hugo
