dreknoun
Iota
Diseñador
Verificación en dos pasos activada
Verificado por Whatsapp
Verificado por Binance
Buenos días betas.
Estuve viendo que últimamente los errores de 404 se habían disparado en mi sitio pero no fue por nada de que se hubieran eliminado artículos o contenido del sitio sino que google ignora mi robots.txt y analiza la carpeta de contenido de wordpress, es decir /wp-content/plugins y la de /wp-content/themes haciendo que los plugins que eliminé ahora me los toma como errores 404. Como puedo hacer para bloquear el acceso al robot de google en estas zonas? Mi robots.txt está así:
Espero su respuesta y puedan ayudarme :/
Saludos.
Estuve viendo que últimamente los errores de 404 se habían disparado en mi sitio pero no fue por nada de que se hubieran eliminado artículos o contenido del sitio sino que google ignora mi robots.txt y analiza la carpeta de contenido de wordpress, es decir /wp-content/plugins y la de /wp-content/themes haciendo que los plugins que eliminé ahora me los toma como errores 404. Como puedo hacer para bloquear el acceso al robot de google en estas zonas? Mi robots.txt está así:
Insertar CODE, HTML o PHP:
# Primero el contenido adjunto.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
#
# Sitemap permitido, búsquedas no.
#
Sitemap: http://dreknoun.net/sitemap.xml
Disallow: /?s=
Disallow: /search
#
# Permitimos el feed general para Google Blogsearch.
#
# Impedimos que permalink/feed/ sea indexado ya que el
# feed con los comentarios suele posicionarse en lugar de
# la entrada y desorienta a los usuarios.
#
# Lo mismo con URLs terminadas en /trackback/ que sólo
# sirven como Trackback URI (y son contenido duplicado).
#
Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
#
# A partir de aquí es opcional pero recomendado.
#
# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante…
# Añadir al gusto del consumidor…
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
#
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir
# subiendo hasta el punto óptimo.
#
User-agent: noxtrumbot
Crawl-delay: 50
User-agent: msnbot
Crawl-delay: 30
User-agent: Slurp
Crawl-delay: 10Espero su respuesta y puedan ayudarme :/
Saludos.