¿Cuales son los crawler o araña de buscador que soportan comodines?

  • Autor Autor Yordanis
  • Fecha de inicio Fecha de inicio
Y

Yordanis

Alfa
SEO
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Hasta ahora el unico crawler que se que soporta comodin es el de google

Si hay algun otro mas a una lista de ello

Ejemplo: de un robots.txt con comodin
User-agent: Googlebot
Disallow: /*.js$
Disallow: /2006/*
Disallow: /juego/adulto/*?*
 
Atrás
Arriba