Creo hablas del robots.txt
Robots.txt es un archivo que los sitios web usan para decirles a los robots de los motores de búsqueda qué páginas deben o no deben ser indexadas
Es como una lista de permisos que les dice a los robots qué partes del sitio pueden ver y cuáles no
Ayuda a controlar qué información aparece en los resultados de búsqueda.
Lo que tú buscas, es como te mencionaron, Scrapear sitios de WordPress
Existen plugins como WP Automatic (
Que tengo un curso de él que vendo aquí mismo) que extraen contenido de otros sitios usando trucos para hacerlo original
O plugins, que usan spinners y extraen contenido de otros sitios pero cambiando palabras o hasta plugins que crean contenido con la Api de Open AI (igual WP Automatic)
Hay muchas maneras de extraer el contenido de un sitio de WordPress, todo dependería de si vale la pena o no
Un ejemplo sería lo de Amazon afiliados, que fue muy golpeado recientemente, muchas automáticas sin SEO murieron
Las que si tienen seo, sem y redes sociales, siguen vivas aún
En fin, en resumen
Si es posible, pero no es tan fácil como piensas
Paga un curso (
El mío) paga el servicio de alguien más en la sección de programadores o compra el plugin por ti mismo y empieza a probarlo hasta que tengas resultados, podría llevar más tiempo pero es más barato
Saludos!
