Los datos están en una base de datos MySql, seguramente podrás acceder a través de phpMyAdmin (casi todos los proveedores de hosting usan este).
El CSS está en la carpeta de tu plantilla (theme) de Wordpress: wp-admin/wp-content/themes/Nombredeltheme/... y a partir de aquí puede que esté el fichero CSS (styles.css es lo más común), o en una subcarpeta. Lo que cambies en el CSS se cambiará en la estética de todas las páginas de tu sitio (posts, páginas, tags, categorías, etc).