Tienes que tener en cuenta, la cantidad de visitas simultáneamente, y por día, el puerto de conexión, tienes que ver la el formato y calidad, también tienes que ver si el servidor encodea o solo sirve el vídeo a los visitantes, por ultimo la distancia entre el servidor y tus visitantes.
Con esa data puedes ver a mas profundad tu problema.
Por lo general los host de vídeo no solo manejan uno o dos server, si no mas y en puntos estratégicos, streaming consume mucha banda y recursos.
Ejemplo si estas en Hetzner o Veep que son servidores ubicados en Europa y Rusia, la velocidad no sera misma para Europa como para Latinoamerica, en este ultimo la conexion sera mas lenta, por latencia, si por a o b tu servidor tiene discos HDD, si la empresa de tu servidor no te limita el puerto de conexcion, si no tienes mas visitas de los que tu server puede manejar, si tu servidor encodea.....la distancia entre servidor y cliente,un gran etc, son variables que pueden sumar a que tu sistema ande lento.
Tienes que recopilar esa data y de acuerdo a eso se te ubica el problema y se procede a una solución.
Obviamente si quieres tener un buen sistema de streaming, se invierte también bien, toda esa data tienes brindarle a carlos, para que este pueda ayudarte mas rapidamente.