Como criar um arquivo robot.txt corretamente

Daniel Muñoz

1

Pi

Programador

Verificado

Verificación en dos pasos activada

Verificado por Binance

Usuário popular!

Suscripción a IA

• 23/06/2015

• #1

Hola chicos, estoy creando mi robot.txt y me gustaria saber si estoy en lo correcto.

Actualmente me quedo asi.

Inserir CODE, HTML ou PHP:

User-Agent: *
Disallow: 
Disallow: /config.php
Disallow: /templates
Disallow: /fonts
Disallow: /css
Disallow: /libs
Disallow: /js

Quiero que los buscadores no rastreen esas carpetas ni ese archivo en particular, estoy en lo correcto?

 

A

Aitor342

Delta

Domainer

• 23/06/2015

• #2

Buenas, creo que el primer Disallow te sobra, el que esta en blanco.

Es como que no quieres indexar nada....:topsy_turvy:

 

A

alevin00

Gamma

• 24/06/2015

• #3

creo que a google le gusta ver el css, js y alguna cosa mas.
Puedes visitar esta pagina. https://yoast.com/wordpress-robots-txt-example/,

 

D

Dregamon

Eta

Social Media

Verificación en dos pasos activada

• 24/06/2015

• #4

Deberías quitar el disallow que no especifica una ruta.

 

U

UnLoco2089

Alfa

Usuário com poucas negociações! Use sempre o saldo do ForoBeta!

• 25/06/2015

• #5

Es correcto.
Al mío al final le agregué:

Inserir CODE, HTML ou PHP:

Sitemap: http://www.tuweb.com/sitemap.xml

Y como te dijeron, borra el primer Disallow.