¿Cómo permitir el acceso del rastreador en el archivo robots.txt para Adsense?

EdenHazard · 16 Abr 2014

Hola. Hoy me he levantado y he visto que en la tabla de valores de Adsense en optimización de ingresos he pasado de 4 círculos a tan sólo 1..., he entrado para ver el error que me daba y decía: "Robot denegado".

Seguí a sus mensajes y me dicen lo siguiente:

AdSense dijo:
"Si ha modificado el archivo robots.txt de su sitio para que el rastreador de AdSense no indexe las páginas, no podremos publicar anuncios Google en esas páginas.

Para actualizar el archivo robots.txt y garantizar al rastreador acceso a sus páginas, elimine las dos líneas de texto siguientes del archivo robots.txt:

User-agent: Mediapartners-Google
Disallow: /

Este cambio permitirá que nuestro rastreador indexe el contenido del sitio y le proporcione anuncios Google. Tenga en cuenta que cualquier cambio que realice en el archivo robots.txt puede que no se refleje en nuestro índice hasta que los rastreadores intenten visitar su sitio de nuevo."

El caso es... ¿dónde está eso de User-Agent: Mediapartners? Yo pensaba que buscando en mi código HTML - estoy en Blogger - aparecería, pero no... Y no sé realmente porqué me sale esto, ya que yo no creo haber tocado nada en cuanto a esto de "robots.tx" se refiere, de hecho si os digo la verdad ni sé lo que es... Me imagino que tiene algo que ver con el Sitemap e indexar las páginas en Google, pero ni idea...

A ver si alguien puede ayudarme por favor. Gracias.

carlossalasamper · 16 Abr 2014

No, el robots.txt no tiene nada que ver con tu plantilla. Es para evitar spiders y bichitos que analicen tu web. Generalmente se deja sin restringir ninguna página de tu web o, en todo caso, las de gestión. En blogger, hay un par de opciones que, si las clickas sin querer, te dejan sin aparecer en Google y puedes configurar el robot desde la sección de la plataforma añadiendo o eliminando líneas de texto con órdenes.

EdenHazard · 16 Abr 2014

Reypulga dijo:
No, el robots.txt no tiene nada que ver con tu plantilla. Es para evitar spiders y bichitos que analicen tu web. Generalmente se deja sin restringir ninguna página de tu web o, en todo caso, las de gestión. En blogger, hay un par de opciones que, si las clickas sin querer, te dejan sin aparecer en Google y puedes configurar el robot desde la sección de la plataforma añadiendo o eliminando líneas de texto con órdenes.

Hola, gracias por contestar, pero no consigo entender lo que debo realizar. Yo no creo haber clickado nada en especial y en principio tráfico orgánico sí estoy recibiendo y progresando adecuadamente. Cuando dices "puedes configurar el robot desde la sección de la plataforma"... ¿qué plataforma y qué sección por favor? No doy conseguido solucionar el problema aunque los ingresos me siguen llegando como antes, lo que me lleva a pensar que igual antes no estaba cobrando lo que debería... - ojalá pq si es así y consigo solucionarlo sería genial que crecieran -. A ver si me podéis ayudar por favor.

carlossalasamper · 16 Abr 2014

EdenHazard dijo:
Hola, gracias por contestar, pero no consigo entender lo que debo realizar. Yo no creo haber clickado nada en especial y en principio tráfico orgánico sí estoy recibiendo y progresando adecuadamente. Cuando dices "puedes configurar el robot desde la sección de la plataforma"... ¿qué plataforma y qué sección por favor? No doy conseguido solucionar el problema aunque los ingresos me siguen llegando como antes, lo que me lleva a pensar que igual antes no estaba cobrando lo que debería... - ojalá pq si es así y consigo solucionarlo sería genial que crecieran -. A ver si me podéis ayudar por favor.

Con plataforma me refiero a tu CMS, Blogger, y sección, con la parte de Blogger que te permite modificar tu archivo Robots.txt, porque en Blogger no te dejan subir tu propio archivo, debes modificarlo en línea

EdenHazard · 16 Abr 2014

Reypulga dijo:
Con plataforma me refiero a tu CMS, Blogger, y sección, con la parte de Blogger que te permite modificar tu archivo Robots.txt, porque en Blogger no te dejan subir tu propio archivo, debes modificarlo en línea

Gracias de nuevo, pero, ¿y dónde debo hacerlo? ¿HTML? ¿Diseño?...

kanikase · 16 Abr 2014

EdenHazard dijo:
Gracias de nuevo, pero, ¿y dónde debo hacerlo? ¿HTML? ¿Diseño?...

ve a configuracion - preferencia para motores de buqueda, y ahi dice "archivo robots.txt personalizad, ahia cambias lo que te dice"

EdenHazard · 16 Abr 2014

kanikase dijo:
ve a configuracion - preferencia para motores de buqueda, y ahi dice "archivo robots.txt personalizad, ahia cambias lo que te dice"

Muchas gracias, el caso es que llegó ahí y al darle a editar SI, me sale una caja para introducir línea de texto... pero en blanco, y Adsense lo que me pone es:

"Para actualizar el archivo robots.txt y garantizar al rastreador acceso a sus páginas, elimine las dos líneas de texto siguientes del archivo robots.txt:

User-agent: Mediapartners-Google
Disallow: /"

Con lo que no entiendo qué debo hacer, ya que la caja está en blanco, no sale lo de User-agent, etc que me dicen que elimine...

kanikase · 16 Abr 2014

EdenHazard dijo:
Muchas gracias, el caso es que llegó ahí y al darle a editar SI, me sale una caja para introducir línea de texto... pero en blanco, y Adsense lo que me pone es:

"Para actualizar el archivo robots.txt y garantizar al rastreador acceso a sus páginas, elimine las dos líneas de texto siguientes del archivo robots.txt:

User-agent: Mediapartners-Google
Disallow: /"

Con lo que no entiendo qué debo hacer, ya que la caja está en blanco, no sale lo de User-agent, etc que me dicen que elimine...

Usa esto:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.AQUILAURLDETUBLOG.com/feeds/posts/default?orderby=UPDATED

EdenHazard · 16 Abr 2014

kanikase dijo:
Usa esto:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.AQUILAURLDETUBLOG.com/feeds/posts/default?orderby=UPDATED

Muchas gracias! el caso es que ahora he ido a ver, no he metido nada, y vuelvo a tener 5 puntos en todo...

carlossalasamper · 17 Abr 2014

Problema resuelto por arte de magia entonces jaja

Allan Cano · 17 Abr 2014

El archivo robots.txt también me ha dado muchos problemas en uno de mis blog's D=