Ayuda a Eliminar Araña de Baidu

S

soportemovil Seguir

Curioso
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
23 Dic 2011
Mensajes
7
Hola a todos, tengo muchas visitas de esta araña Araña de Baidu que segun lei no sirve de nada, ya que es un buscador chino si no mal recuerdo y ocupa banda que puede ser utilizada por un usuario real.

Cual es el proceso para borrar solo a esa araña y dejar entrar normal a las demas como Adsense y yahoo entre otras ?

uso Version 4.2.1

y el link del foro es Soporte Movil ya que lei que es modificando el archivo robots.txt pero no se como quedaria para mi foro. si alguien es amable de hacerme uno para poderlo subir a mi foro se lo agradeceria.

Gracias
 
4ngeluxpunk

4ngeluxpunk

Zeta
Programador
Verificación en dos pasos activada
Verificado por Whatsapp
¡Ha verificado su Paypal!
Desde
22 Ago 2009
Mensajes
1.734
Buenas amigo acá te dejo los agentes:

googlebot => para Google
msnbot => MSN Search
yahoo-slurp => Yahoo
teoma => Ask/Teoma
twiceler => Cuil
gigabot => GigaBlast
scrubby => Scrub The Web
robozilla => DMOZ Checker
nutch => Nutch
ia_archiver => Alexa/Wayback
baiduspider => Baidu
naverbot, yeti => Naver


Y en caso de algo más específico:


googlebot-image => Google Image
googlebot-mobile => Google Mobile
yahoo-mmcrawler => Yahoo MM
psbot => MSN PicSearch
asterias => SingingFish
yahoo-blogs/v3.9 => Yahoo Blogs

Para Baidu pones así en tu robots.txt:

User-agent: baiduspider
Disallow: /

Otra cosa que he visto tu Robots.txt esta haciendo mención a: Disallow: /forums/admincp/ si tu foro esta dentro de la "/" debería ser así Disallow: /admincp/
 
E

Eduardo Leon

Dseda
Programador
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
11 Oct 2009
Mensajes
1.186
Por favor, ten en cuenta 📝 que si deseas hacer un trato 🤝 con este usuario, está baneado 🔒.
Hola !
Estas seguro que es Baiduspider ?

Agrega estas dos sentencias a tu archivo Robot:

Insertar CODE, HTML o PHP: 
User-agent: Baiduspider
User-agent: Baiduspider+

Tu archivo robot deberia quedar asi:

Insertar CODE, HTML o PHP: 
[COLOR=#ff0000][FONT=verdana]User-agent: Baiduspider [/FONT]
[FONT=verdana]User-agent: Baiduspider+ [/FONT][/COLOR]
User-agent: baiduspider
Disallow: /

Saludos.

EDITO:

segun yo entiendo todos podran entrar al foro a indexar menos Baidu, si a fututo otro no me gustara ejemplo: googlebot => para Google

como quedaria el robots.txt sin Baidu ni google?solo es ejemplo
Hacer clic para expandir...

Solo agregas el "User-agent:" y anexas lo que deseas excluir.
 
S

soportemovil

Curioso
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
23 Dic 2011
Mensajes
7
Gracias
Eduardo Leon


modifique de nuevo mi robots.txt pero sigue apareciendo la araña, cuanto debo esperar para que tenga efecto el bloqueo ??
 
Hay que estar conectado o registrado para responder aquí.
Arriba