Cómo bloquear URLs específicas en robots.txt en Codeigniter

xaiborweb · 28 Nov 2016

hola estoy trabajando el seo en url de un sitio en codeigniter, el cual tiene un catalogo con barios filtros, de tal forma que:

PHP:

http://dominio.com/movies  //permitir
http://dominio.com/movies/category/most-views  //permitir
http://dominio.com/movies/category/most-views/genre/sci-fi  //bloquear
http://dominio.com/movies/category/most-views/genre/sci-fi/year/2016  //bloquear

como soy algo novato con los comandos de robot.txt estoy liado para bloquear solo las que necesito en el ejemplo, agradezco cualquier ayuda 😉 gracias.

dominator · 28 Nov 2016

[MENTION=35077]xaiborweb[/MENTION]

Esto está en inglés, pero es simple de seguir (tiene cosas adicionales que te pueden venir bien de cara a lo que buscas):

How to stop Search Engines from crawling your Website - InMotion Hosting

xaiborweb · 28 Nov 2016

dominator dijo:
[MENTION=35077]xaiborweb[/MENTION]

Esto está en inglés, pero es simple de seguir (tiene cosas adicionales que te pueden venir bien de cara a lo que buscas):

How to stop Search Engines from crawling your Website - InMotion Hosting

esta muy corto como todos los que e visto y en ninguno encuentro un ejemplo similar al mio. ;(

dominator · 28 Nov 2016

Igual no lo he entendido bien.

Que es lo que buscas, un comando que bloquee:

PHP:

http://dominio.com/movies/category/most-views/genre/sci-fi

y

PHP:

http://dominio.com/movies/category/most-views/genre/sci-fi/year/2016

para no ser accedido por los buscadores?

PD: Por cierto, según he leído el comando para que robots.txt frene a los buscadores, es una "sugerencia", no una orden para el buscador. Por otro lado, aunque el buscador no lo indexe, los bots si pueden saber cuales son esos enlaces, por lo que es una utilidad de SEO más que de protección.

Dentro de mi ignorancia (ya que no se como hacerlo, nunca me puesto en ello) según también he leido, si lo que uno quiere de verdad es bloquear el acceso y conocimiento de esa carpeta, sería mejor .htaccess

xaiborweb · 28 Nov 2016

dominator dijo:
Igual no lo he entendido bien.

Que es lo que buscas, un comando que bloquee:

PHP:

http://dominio.com/movies/category/most-views/genre/sci-fi

y

PHP:

http://dominio.com/movies/category/most-views/genre/sci-fi/year/2016

para no ser accedido por los buscadores?

PD: Por cierto, según he leído el comando para que robots.txt frene a los buscadores, es una "sugerencia", no una orden para el buscador. Por otro lado, aunque el buscador no lo indexe, los bots si pueden saber cuales son esos enlaces, por lo que es una utilidad de SEO más que de protección.

Dentro de mi ignorancia (ya que no se como hacerlo, nunca me puesto en ello) según también he leido, si lo que uno quiere de verdad es bloquear el acceso y conocimiento de esa carpeta, sería mejor .htaccess

si y no es por proteccion si no para evitar contenido duplicado programe un controlador con una serie de filtros
como filtrar por categoria, genero, año, etc. ejemplos:

HTML:

http://dominio.com/movies/category/most-views
http://dominio.com/movies/genre/action

pero el problema es que para una mayor experiencia de usuario permito que se mezclen los filtros, pero entonces ya esas url mezcladas no las quiero indexar para evitar contenido duplicado, entonces quiero bloquear dominio.com/movies/*/*/bloquear de aquí para adelante y no se como hacerlo xd

dominator · 28 Nov 2016

xaiborweb dijo:
si y no es por proteccion si no para evitar contenido duplicado programe un controlador con una serie de filtros
como filtrar por categoria, genero, año, etc. ejemplos:

HTML:

http://dominio.com/movies/category/most-views http://dominio.com/movies/genre/action

pero el problema es que para una mayor experiencia de usuario permito que se mezclen los filtros, pero entonces ya esas url mezcladas no las quiero indexar para evitar contenido duplicado, entonces quiero bloquear dominio.com/movies/*/*/bloquear de aquí para adelante y no se como hacerlo xd

Dentro de mi ignorancia 🙂

El robots permite tanto "allow" como "disallow"

allow: /carperta/$
disallow: /carpeta/*

permite indexar:

Domain Name Registration and Web Hosting | Domain.com

Pero no:

Insertar CODE, HTML o PHP:

http://www.dominio.com/carpeta/subacerptea1/...
http://www.dominio.com/carpeta/subcarpeta2/...

Insertar CODE, HTML o PHP:

allow: /movies/$  //permitir
allow: /movies/category/most-views/genre/$  //permitir
disallow: /movies/category/most-views/genre/*  //bloquea todo las subcarpetas de genre

No se si te lío más o lo tienes más claro tras eso 🙂 Lo hago un poco en base a lectura de hace unos minutos, sin haberlo probado yo antes. Igual ni interpreto bien lo que buscas 🙂

Cómo bloquear URLs específicas en robots.txt en Codeigniter

xaiborweb

dominator

xaiborweb

dominator

xaiborweb

dominator

Temas similares