El tiempo de respuesta depende de muchos factores: por ejemplo, de la infraestructura con la que cuente el proveedor de hosting. Es decir, dependiendo de los componentes (hardware) se obtiene un mayor o menor tiempo de respuesta. Adicionalmente tienes que tomar en cuenta la locación del servidor. Si tu servidor está en España, quizá los visitantes europeos tengan un menor tiempo de respuesta, si en cambio una persona entra desde América, el tiempo de respuesta podría ser ligeramente mayor.
Una cosa es el tiempo en el que el servidor tarde en responder (ese es el tiempo de respuesta por supuesto) y otra cosa es la carga que pongas en tus páginas. Según la herramienta de webmasters de Google, un sitio que demora más de 1,5 segundos se empieza a considerar lento.
Opino que dos segundos es un fantástico tiempo de carga y no te debe generar muchos problemas; además, como puedes ver, el tiempo de respuesta se mide en milisegundos, por lo que, salvo ciertos casos, este "delay" es difícil de notar a primera impresión. Si tu sitio carga rápido y no tienes problemas entonces no te preocupes demasiado 🙂 es normal que el tiempo de respuesta sea variable.