Robots.txt ayuda

Una duda que tengo sobre el robots.txt, como he visto muchos articulos sobre grandes seos que los escriben, siempre recomienda que pongamos esto en el robots.txt en cuestion del Disallow , ejemplo:

Disallow: /category/
Disallow: /tag/

lo que no se si al poner: Disallow: /category/, los buscadores van a dejar de rastrear todo lo que tenga en ese carpeta?
Este es mi caso yo quiero que el buscador deje de rastrear unas url que estan dentro dentro de una carpeta ejemplo

miwebejemplo/actor/raphael-5956/

es aqui donde yo quiero que los buscadores dejen de rastrear mis urls que esten asi y son muchas, lo que quiero que me saber es que poniendo en el robots.txt esto:

Disallow: /actor/

Quiero saber si al poner eso los buscadores van a dejar de rastrar las urls como esta que estan en mi web
miwebejemplo/actor/raphael-5956/

Ayuda por favor me estoy volviendo loco.

Saludos a todos y buen fin de año.

Claro, una vez escribes "/" todo lo que continúe de esa ruta será omitida, técnicamente se omite todo el directorio completo posterior al "/", al menos que hagas una excepción. :encouragement:

ManagerTHM dijo:

Claro, una vez escribes "/" todo lo que continúe de esa ruta será omitida, técnicamente se omite todo el directorio completo posterior al "/", al menos que hagas una excepción. :encouragement:

Hacer clic para expandir...

Muchas gracias por aclarar mi duda. Saludos!