no hay latencia 0 ya que aún haciendo una compresión de video y bajando calidad para ganar ancho de banda (si tu conexión es mala) puede rondar los 50 milisegundos.
aunque tengas 600 mgbs posiblemente no bajes de un ping de 15-20 milisegundos, esto está dictaminado por la velocidad de la luz/distancia hasta el servidor de youtube.
lo lógico es bajar los requisitos de vídeo (mayor compresión y menor calidad) aunque puede ser contraproducente si hay una mala calidad o pasrte a una linea de fibra óptica que envia/recibe simetricamente, aunque esto último no siempre es factible.