Hay usuarios que sí instalan una "copia" en el computador local, haciendo correr un "simulador" de un servidor, pero generalmente eso se hace para testear problemas de compatibilidad con themes y/o plugins.
Quiero decir que se puede tener un Wordpress en tu computadora, pero nadie podría verlo en un principio, excepto tu mismo y se suele hacer para temas de pruebas.
Sólo para que lo tengas en cuenta te lo comento, para correr Wordpress online en Internet sólo necesitas tenerlo instalado en el servidor, y por cierto sí se generan archivos y carpetas y bastantes, dentro de la carpeta public_html o lo que te hayan indicado en el hosting.
Además los archivos que subas van a parar a la carpeta wp-content (una carpeta importantísima cuando necesites hacer copias de seguridad). Los textos si se guardan en la base de datos.
Si tienes cualquier duda, por muy sencilla que te parezca no dudes en preguntar, que yo a base de preguntar aprendí de todo sobre Wordpress en el foro.