Uso del robots.txt en WordPress

albertuki

Gamma

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 24 Oct 2013

• #1

Hola betas! Pues bien, tengo un blog en wordpress donde tengo el plugin google sitemap y lo tengo todo indexado, pasa que si me meto en la url/robots.txt me dice lo siguiente:

#Begin Attracta SEO Tools Sitemap. Do not remove
sitemap: http://cdn.attracta.com/sitemap/1821552.xml.gz
#End Attracta SEO Tools Sitemap. Do not remove

Es necesario tener un robots.txt par que google me indexe mejor las paginas, o directamente con el sitemap i indexandolas con la webmastertool de google es suficiente.

Muchas gracias,

Saludos!

 

R

Ro101

Lambda

• 24 Oct 2013

• #2

El robots te sirve para darle allow al robot / crawler. Tener el robots.txt te ayuda a estar seguro que el bot de google tiene permitido el acceso a ciertos directorios. El sitemap le indica el camino a seguir (las URLS a crawlear)

 

albertuki

Gamma

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 25 Oct 2013

• #3

Es decir, que en realidad siempre hace falta tener un robot.txt, es que yo lo tenia en mi web, y ahora no funciona y como las visitas me bajaron no se si puede ser debido a esto, que opináis ?

 

albertuki

Gamma

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 29 Oct 2013

• #4

Alguna sugerencia ?

 

Kakkonen

Ómicron

SEO

Verificación en dos pasos activada

Verificado por Whatsapp

• 13 Nov 2013

• #5

hay que actualizar los tips de robots despues de tanto zoologico suelto

 

L

lest

Beta

Social Media

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 14 Nov 2013

• #6

El robots.txt no es necesario, solo le ayuda a google y los buscadores a saber que parte de tu contenido puede o no indexar, en caso de no tenerlo entraran como en su casa y se indexa todo lo que encuentren.

De allí que sea preferible tenerlo y poderle decir a estos que no indexen cierta sección o contenido, cabe destacar que existen muchos buscadores y no es una ley este archivo, es a criterio de los buscadores respetar o no lo que dice tu archivo.