Si es contenido viral, es normal esos picos.
Piensa que cada persona que comparte tu vídeo tiene un número distinto de amigos o seguidores. Por ejemplo: un día puede que 100 personas hayan compartido tu vídeo en Facebook y que apenas tengas visitas, ya que alomejor tienen pocos contactos. En cambio, también puede suceder que otro día solo lo compartan 10 personas, pero que de la casualidad de que una de ellas tiene miles de seguidores que lo visualicen...
Concluyendo, si tu tráfico viene del buscador (SON RAROS ESOS PICOS). Si tu tráfico es SOCIAL (ESOS PICOS SON NORMALES).
Yo lo que haría en tu caso es lo siguiente:
Publica contenido viral, pero optimiza el título, descripción y tags hacia Keywords que tienen muchas búsquedas. De esta forma, aprobecharás esa viralidad para rankear esas keywords y lograr visitas mas estables en el tiempo.