A todo lo dicho por mis compañeros, añado:
El acceso a las arañas a determinados directorios se corta de raíz mediante la clausula DISALLOW en el archivo robots.txt:
User-agent: *
Disallow: /ajax.php
Disallow: /attachment.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usernote.php
Disallow: /sitemap/
Disallow: /archive/
Disallow: /upload/
Disallow: /downloads/
Y el acceso a determinados usuarios, como te han explicado, o mediante htaccess (que viene a ser lo mismo, porque el panel Plesk lo que hace cuando cortas el acceso a un directorio es agregar una entrada en el htaccess).
🙂
