Que tal.
Como tu dices "supuestamente" y con youtube solo hay supuestos, nadie a podido descifrar su algoritmo, cuando crees encontrar la "formula secreta" te das cuenta que no es asi.
No creo que dependan solo del tiempo que sean vistos tus videos, asumo que dependerá mucho de la actividad en lo que se refiere a comentarios, likes, suscripciones, respuestas (eso lo digo basado en mi experiencia, tengo 2 videos en mi canal que tienen buena actividad como visitas y youtube lo sigue recomendando, a diferencia de otros de mis videos que tienen visitas pero nada de actividad).
También me parece que puede suceder no digo que sea tu caso, pero si se paga por visitas eso afecta el video, hice una prueba con uno de mis videos (igual lo comparto como experiencia para otros) pague por x cantidad de visitas es verdad aumento mi CPM pero el video que antes de esas visitas tenia un buen nivel de retención y dos picos, luego de eso se quedo solo en la introducción, incluso las impresiones son menores en comparación con otro video y el porcentaje de clics es de 3.6% (con 532 visitas).
Para las visitas ahora estoy probando con publicidad en facebook, la retención es mejor tiene dos picos y además las impresiones aumentaron considerablemente, el porcentaje de clics es de 10.5% (con 316 visitas).
Espero que te sirva para que puedas hacer tus propios análisis.