Cómo crear un archivo robot.txt correctamente

Daniel Muñoz

1

Pi

Programador

Verificado

Verificación en dos pasos activada

Verificado por Binance

¡Usuario popular!

Suscripción a IA

• 23 Jun 2015

• #1

Hola chicos, estoy creando mi robot.txt y me gustaria saber si estoy en lo correcto.

Actualmente me quedo asi.

Insertar CODE, HTML o PHP:

User-Agent: *
Disallow: 
Disallow: /config.php
Disallow: /templates
Disallow: /fonts
Disallow: /css
Disallow: /libs
Disallow: /js

Quiero que los buscadores no rastreen esas carpetas ni ese archivo en particular, estoy en lo correcto?

 

A

Aitor342

Delta

Domainer

• 23 Jun 2015

• #2

Buenas, creo que el primer Disallow te sobra, el que esta en blanco.

Es como que no quieres indexar nada....:topsy_turvy:

 

A

alevin00

Gamma

• 24 Jun 2015

• #3

creo que a google le gusta ver el css, js y alguna cosa mas.
Puedes visitar esta pagina. https://yoast.com/wordpress-robots-txt-example/,

 

D

Dregamon

Eta

Social Media

Verificación en dos pasos activada

• 24 Jun 2015

• #4

Deberías quitar el disallow que no especifica una ruta.

 

U

UnLoco2089

Alfa

¡Usuario con pocos negocios! ¡Utiliza siempre saldo de Forobeta!

• 25 Jun 2015

• #5

Es correcto.
Al mío al final le agregué:

Insertar CODE, HTML o PHP:

Sitemap: http://www.tuweb.com/sitemap.xml

Y como te dijeron, borra el primer Disallow.