Hay muchas razones por las que eso es una mala idea, pero llendo a la principal:
Los servidores tienen transferencia limitada (cierta transferencia al mes y despues te cobran), y los que se venden como "Ilimiatdos" en realidad el limite esta implicito en la velocidad de descarga ofrecida, ejemplo OVH y sus 100 MBPS .
Mas alla de eso el problema con los ilimitados y limitados, es la velocidad de descarga ofrecida. la mayoria oscila entre los 100MBPS y 350 MBPS dependiendo su precio y si son ilimitados o no en cuanto a transferencia.Lo cual no es suficiente para el tipo de uso que le queres dar.
Imaginate que tu video pesa 100 MB . Si tenes solo 10 usuarios con conexiones a 10 MBPS descargando al mismo tiempo , ya saturaste la conexion del servidor y nadie mas podra descargar nada si el servidor solo te ofrece 100MBPS de velocidad, hasta que termine la descarga que sera aprox en 8 seg.
Lo correcto en estos casos es usar servicios dedicados para ello como Amazon S3 por ejemplo como medio de almacenamiento y un VPS para gestionar la carga y descarga de esos videos. O bien armar tu propia red de servidores para usar de almacenamiento.