Un VPS te puede ser útil si la página es en HTML o en PHP con un sistema de cacheo óptimo.-
En el momento en que quieras 100 mil visitantes en un VPS con Mysql vas a tener problemas.-
Si buscás un VPS, que sea más bien un VDS/Hibrido; Te van a otorgar una mayor cantidad de recursos y por sobre todo, los garantizarán.
OpenVZ por ejemplo, no te garantiza los recursos, cuando XEN sí.
Un dedicado, tiene de problema inicial en que tenés que cambiar el hardware si tu sitio web crece. Pero un XEON de alta gama, debería ahorrarte el problema hasta que sea insostenible (considerando que no es sólo HTML)
En cuanto a las imagenes ¿no pensaste en utilizar un CDN? podría ayudarte con los costos de ancho de banda.