La configuración del robot se hace exactamente donde dijiste.
Respecto al contenido de este archivo, vamos parte a parte:
Insertar CODE, HTML o PHP:
User-agent: Mediapartners-Google
Disallow:
Acá estás dándole acceso a todas las páginas de tu blog al robot de Google AdSense y Google AdSense Mobile. Este robot es el encargado de rastrear la página para mostrar la publicidad contextual de AdSense.
Insertar CODE, HTML o PHP:
User-agent: *
Disallow: /search
Allow: /
Acá dices que todos los robots que ingresen al sitio, deben evitar rastrear las páginas que comiencen con tusutio.com/search. Estas páginas en blogger incluyen:
- Paginaciones.
- Etiquetas.
- Búsquedas en el sitio.
En el resto de las páginas del sitio estarás permitiendo a las arañas rastrearlo e indexarlo. Esto sería el home, los artículos, las páginas estáticas y las páginas de archivo del blog. Hasta aquí, es la configuración que blogger trae por defecto.
Insertar CODE, HTML o PHP:
Sitemap: http://www.compumatico.com/sitemap.xml
En esta línea indicas explícitamente cuál es el sitemap de tu sitio. En caso de Blogger puedes ponerlo de dos maneras. La usual es como ya te indicaron anteriormente:
Insertar CODE, HTML o PHP:
http://tusitio.com/feeds/posts/default/
En este caso puedes ademas agregarle algunos atributos JSON para condicionarlo. Este tipo de sitemaps (en realidad RSS) tienen el inconveniente que solo llegarán a un máximo de 500 entradas. A partir de la entrada 501, la entrada 1 dejará de estar en el RSS, y en consecuencia, en tu sitemap. Ten en cuenta que esto NO implica que desaparezca de los buscadores, pero no es lo óptimo.
Insertar CODE, HTML o PHP:
http://tusitio.blogspot.com/sitemap.xml
La otra forma de hacerlo es la que te muestro arriba y es mejor que el RSS, ya que no tiene su limitación. No obstante, tiene como inconveniente que solo puedes acceder al archivo si ingresas via subdominio de blogspot. Si intentas tomar el archivo a través de http://tusitio.com/sitemap.xml, obtienes un error 500. Esto hace que solo sea útil si no cuentas con dominio propio.
Es posible que para este último caso puedas incluir en el robots.txt el sitemap haciendo referencia de esta manera, pero desconozco si el mismo es reconocido y tomado por válido, ya que técnicamente la ubicación no corresponde a tu dominio.
