- Desde
- 7 Ene 2014
- Mensajes
- 20
Hasta ahora el unico crawler que se que soporta comodin es el de google
Si hay algun otro mas a una lista de ello
Ejemplo: de un robots.txt con comodin
User-agent: Googlebot
Disallow: /*.js$
Disallow: /2006/*
Disallow: /juego/adulto/*?*
Si hay algun otro mas a una lista de ello
Ejemplo: de un robots.txt con comodin
User-agent: Googlebot
Disallow: /*.js$
Disallow: /2006/*
Disallow: /juego/adulto/*?*
