R
ramones33
Zeta
Verificación en dos pasos activada
Hola,
Tengo mis razones para deshabilitar el robot de Internet Archive Wayback Machine (archive.org). Mi duda es, ¿Hay algún contra que deberia evaluar antes de bloquear su bot?
Esto es lo que me dicen que debo colocar en el robots.txt
User-agent: ia_archiver
Disallow:/
Saludos
Tengo mis razones para deshabilitar el robot de Internet Archive Wayback Machine (archive.org). Mi duda es, ¿Hay algún contra que deberia evaluar antes de bloquear su bot?
Esto es lo que me dicen que debo colocar en el robots.txt
User-agent: ia_archiver
Disallow:/
Saludos

