¿Cuales son los crawler o araña de buscador que soportan comodines?

  • Autor Autor Yordanis
  • Fecha de inicio Fecha de inicio
Y

Yordanis

Alfa
SEO
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Hasta ahora el unico crawler que se que soporta comodin es el de google

Si hay algun otro mas a una lista de ello

Ejemplo: de un robots.txt con comodin
User-agent: Googlebot
Disallow: /*.js$
Disallow: /2006/*
Disallow: /juego/adulto/*?*
 
¿Te sirvió? Únete a la conversación

Con tu cuenta gratis puedes responder, escribirle al autor por mensaje privado y comprar con Saldo retenido: el pago se libera cuando recibes lo acordado.

Toma 30 segundos · vuelves a este tema al terminar
Atrás
Arriba