Tratare de explicártelo:
este es un robot txt
User-Agent: * (esta linea indica que cualquier buscador puede acceder a rastrear nuestra web, esta opción por lo general la dejamos así)
Disallow: /wp- (esta linea indica el bloqueo al acceso de todos los directorios y paginas que comienzan con WP (instalacion de WP, lo dejo asi) (Aqui es donde puedes bloquear la información, paginas, etc. que no quieras que Google indexe.
Allow: /wp-content/uploads/ (Indica que permites que se rastreen todos los archivos adjuntos)
Sitemap:
http://www.emprendealexito.com/sitemap_index.xml (Y este indica a los buscadores a que miren el mapa de sitio de tu web)
Te dejo el código limpio aca:
User-Agent: *
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap:
http://www.tusitioweb.com/sitemap_index.xml
Para crear un Robots.txt simplemente tendrás que:
- Crear un archivo de texto.
- Renómbralo como “robots.txt”
- Crea las instrucciones que creas necesarias
- Subelo a tu hosting y alojalo en la raíz de tu web
- Comprobarlo en Search Console
Ese código que te muestro es el básico. Puedes probar usándolo. Pero si quieres personalizarlo y bloquear mas cosas y todo eso puedes buscar mas información en la web.