Como ya lo comentan, depende mucho de la plantilla que estes usando, del CMS (Joomla, Wordpress, etc) si lo tengas optimizado ó no, que tantos plugins o componentes tengas instalados.
Ahora bien, también hay que tomar en cuenta la velocidad de tu conexión a internet (si tu conexión es lenta tu puedes sentir que carga algo lento, pero para otros les puede cargar rápido)
En el caso de que tengas buena conexión quedaría descartado esto, y en ese caso si ya tienes optimizado tu CMS y quieres que cargue más rápido lo ideal seria optar por un VPS.
Saludos.
MexiServer.Com: Empresa Mexicana de Hosting, Streaming de Audio y Video Flash