El robots.txt puede variar según la web que estés manejando, no hay un robots.txt genérico que le de resultados a todos los sitios web.
Observación: tu sitemap incrustado en el robots.txt de tu sitio web, lo incrustaste como un archivo .gz descargable, esto es un gran error, te adjunto el robots.txt correcto según lo insertaste tu
Insertar CODE, HTML o PHP:
User-agent: *
Disallow: /wp-admin/
Sitemap: http://mundodelvago.com/sitemap.xml
Debes asegurarte que tu sitemap sea .xml...
Recomendación: si quieres ver resultados buenos con tu robots.txt, analiza constantemente tu sitio web en los resultados de búsqueda, revisa el search console de google y haz la búsqueda
site:mundodelvago.com en google para ver como se comporta en el indexado.
- - - Actualizado - - -
Sin ofender pero si no sabes nada del tema mejor no opines :encouragement: le evitarás muchos dolores de cabeza a las personas.
