Al buscar en goggle directamente la ubicación de mi página me aparece:
Luego, al buscar más información:
¿Qué son los fulanos robots y como puedo eliminarlos si están evitando que mi página sea indexada?
No se dispone de una descripción de este resultado debido a robots.txt. Más información.
Luego, al buscar más información:
Los archivos robots.txt restringen el acceso a un sitio por parte de los robots de motores de búsqueda que rastrean la Web. Estos robots están automatizados y, antes de acceder a las páginas de un sitio, verifican si existe un archivo robots.txt que les impida el acceso a determinadas páginas. Aunque todos los robots acreditados respetan las directivas del archivo robots.txt, algunos pueden interpretarlas de forma diferente. Sin embargo, el archivo robots.txt no es obligatorio y algunos emisores de spam y otros malhechores pueden ignorarlo. Por este motivo, es recomendable proteger la información confidencial con contraseñas.
Para consultar las URL que Google no ha podido rastrear, accede a la página URL bloqueadas de la sección de Rastreo de Herramientas para webmasters de Google.
El archivo robots.txt solo es necesario si tu sitio incluye contenido que no deseas que los motores de búsqueda indexen. Si va a permitir la indexación de su sitio por completo, el archivo robots.txt no es necesario (ni siquiera uno vacío).
¿Qué son los fulanos robots y como puedo eliminarlos si están evitando que mi página sea indexada?