Utiliza alguna herramienta online TTFB (tiempo hasta el primer byte, en castellano).
Se sabe que el tiempo de carga depende de la conexión de Internet del cliente que hace la petición HTTP, del servidor, del DNS, entre otros factores, por lo que es difícil de medir, al menos con precisión.
No obstante, podemos saber cuanto pesan nuestros archivos, lo que se llama complejidad computacional. Es decir, mientras más reduzcas el número de instrucciones, minifiques, comprimes, más rápido cargará tu sitio, que demore más ya es cosa del servidor y la conexión del cliente, no depende de ti.