Mejora SEO con Archivo robots.txt personalizado

peelink Seguir

Dseda
Diseñador
Verificación en dos pasos activada
Verificado por Whatsapp
Desde
27 Ago 2012
Mensajes
1.181
Buenas resulta que Google solo me indexa 1 sola url según woorank, mi blog es de películas onlines hace unos meses tenia mas de 2 mil visitas al día y bueno por algún motivo e perdido mucho trafico e arreglado algunas cosas de mi blog como las etiquetas metas duplicadas....... que tenia unas 250! :ambivalence: de apoco estoy recuperando el trafico mi pregunta es necesario poner un Archivo robots.txt personalizado? ya que esa parte no toque nada xq no entiendo mucho xD creen que eso puede mejorar un poco la indexacion del blog y por ende mejorar un poco el seo ? en caso de que me recomienden poner un robots.txt personalizado alguien me puede dar una mano para saber como se crea uno? saludos y espero su ayuda
 

VHS

Épsilon
Verificación en dos pasos activada
Verificado por Whatsapp
Desde
29 Ago 2011
Mensajes
989
Interesante el tema, me uno.

Enviado desde mi GT-S6102B usando Tapatalk 2
 

taldsama

Beta
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
12 Sep 2013
Mensajes
34
te dejo esto que saque de una pagina, yo lo veo bien explicado. solo que en ingles, en español vi otros bien explicados, pero para wordpress
What is Robots.txt?

Robots.txt is a text file which contains few lines of simple code. It is saved on the website or blog’s server which instruct the web crawlers to how to index and crawl your blog in the search results. That means you can restrict any web page on your blog from web crawlers so that it can’t get indexed in search engines like your blog labels page, your demo page or any other pages that are not as important to get indexed. Always remember that search crawlers scan the robots.txt file before crawling any web page.

Each blog hosted on blogger have its default robots.txt file which is something look like this:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: CP ROSHAN & 2ND, UNITED FOR SRI LANKA!, TSUNAMI

Explanation

This code is divided into three sections. Let’s first study each of them after that we will learn how to add custom robots.txt file in blogspot blogs.

User-agent: Mediapartners-Google
This code is for Google Adsense robots which help them to serve better ads on your blog. Either you are using Google Adsense on your blog or not simply leave it as it is.

User-agent: *
This is for all robots marked with asterisk (*). In default settings our blog’s labels links are restricted to indexed by search crawlers that means the web crawlers will not index our labels page links because of below code.

Disallow: /search

That means the links having keyword search just after the domain name will be ignored. See below example which is a link of label page named SEO.

You searched for label/SEO | Blogger Tips and TricksBlogger Tips and Tricks

And if we remove Disallow: /search from the above code then crawlers will access our entire blog to index and crawl all of its content and web pages.

Here Allow: / refers to the Homepage that means web crawlers can crawl and index our blog’s homepage.

Disallow Particular Post
Now suppose if we want to exclude a particular post from indexing then we can add below lines in the code.

Disallow: /yyyy/mm/post-url.html

Here yyyy and mm refers to the publishing year and month of the post respectively. For example if we have published a post in year 2013 in month of March then we have to use below format.

Disallow: /2013/03/post-url.html

To make this task easy, you can simply copy the post URL and remove the blog name from the beginning.

Disallow Particular Page
If we need to disallow a particular page then we can use the same method as above. Simply copy the page URL and remove blog address from it which will something look like this:

Disallow: /p/page-url.html

Sitemap: CP ROSHAN & 2ND, UNITED FOR SRI LANKA!, TSUNAMI
This code refers to the sitemap of our blog. By adding sitemap link here we are simply optimizing our blog’s crawling rate. Means whenever the web crawlers scan our robots.txt file they will find a path to our sitemap where all the links of our published posts present. Web crawlers will find it easy to crawl all of our posts. Hence, there are better chances that web crawlers crawl all of our blog posts without ignoring a single one.

Note: This sitemap will only tell the web crawlers about the recent 25 posts. If you want to increase the number of link in your sitemap then replace default sitemap with below one. It will work for first 500 recent posts.

Sitemap: CP ROSHAN & 2ND, UNITED FOR SRI LANKA!, TSUNAMI

If you have more than 500 published posts in your blog then you can use two sitemaps like below:

Sitemap: CP ROSHAN & 2ND, UNITED FOR SRI LANKA!, TSUNAMI
Sitemap: CP ROSHAN & 2ND, UNITED FOR SRI LANKA!, TSUNAMI
Fuente:Add Custom Robots.txt file in Blogger | Blogger Tips and TricksBlogger Tips and Tricks
 

peelink

Dseda
Diseñador
Verificación en dos pasos activada
Verificado por Whatsapp
Desde
27 Ago 2012
Mensajes
1.181
te dejo esto que saque de una pagina, yo lo veo bien explicado. solo que en ingles, en español vi otros bien explicados, pero para wordpress

Fuente:Add Custom Robots.txt file in Blogger | Blogger Tips and TricksBlogger Tips and Tricks

por defecto blogger tre este
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: mi blog [/url]

por lo que lei Disallow: /search no deja que indexe todo el contenido del blog ? si lo quito Google indexara todo el contenido si me equivoco corregime y gracias por la info
 
Última edición:

taldsama

Beta
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
12 Sep 2013
Mensajes
34
por defecto blogger tre este
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: mi blog [/url]

por lo que lei Disallow: /search no deja que indexe todo el contenido del blog ? si lo quito Google indexara todo el contenido si me equivoco corregime y gracias por la info
lamentablemente, yo no se mucho,lo que yo se, es para que no haga duplicados de contenido en el indexeado (que google toma mal el contenido duplicado), y el robots.txt lo que hace es decirle a los robots que no busquen en ciertas partes de tu pagina.
mira te facilito el que estoy usando en mi blog.
aunque puede que no sea el mejor.
Insertar CODE, HTML o PHP:
User-agent: Mediapartners-Google
Disallow: 
User-agent: * 

Disallow: /*? 
Disallow: /search*/ 
Disallow: /*search/   
Disallow: /archive*/   
Allow: / 
 
Sitemap: http://TUDOMINIO.com/feeds/posts/default?orderby=UPDATED
yo no fui el que lo hizo, solo lo encontre en internet y ya no tengo la fuente.
tambien, busca en google, como editar lo que esta debajo de esa opcion de robots.txt
lei que sirve mucho.

y repito que no se mucho, solo lo que he leido. espero serte de ayuda.
 

reygodo

Alfa
¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!
Desde
31 Ago 2012
Mensajes
16
Buenas resulta que Google solo me indexa 1 sola url según woorank, mi blog es de películas onlines hace unos meses tenia mas de 2 mil visitas al día y bueno por algún motivo e perdido mucho trafico e arreglado algunas cosas de mi blog como las etiquetas metas duplicadas....... que tenia unas 250! :ambivalence: de apoco estoy recuperando el trafico mi pregunta es necesario poner un Archivo robots.txt personalizado? ya que esa parte no toque nada xq no entiendo mucho xD creen que eso puede mejorar un poco la indexacion del blog y por ende mejorar un poco el seo ? en caso de que me recomienden poner un robots.txt personalizado alguien me puede dar una mano para saber como se crea uno? saludos y espero su ayuda

Lo mismo me pasa a mí, no se que hacer para que indexe de forma correcta. Me estoy desesperando :neglected:

Voy a probar el código que indican arriba.

Gracias.

Edito para adjuntar una captura de webmaster tool donde me indicar que me ha bloqueado 39 paginas (entradas) de las 40 que tengo (llevo dos meses y no me indexa nada) Alguna sugerencia por favor.

robots.jpg
https://docs.google.com/file/d/0B4gIsE8Q5VgqMjVWVGlSa2FDNFk/edit?usp=sharing
 
Última edición:
Arriba