Me inclinaría a que es un problema de red ya que mencionas que el problema es solo unos minutos y nisiquiera podes conectarte vía SSH. Pero también puede ser causado por sobrecarga del servidor. Sin revisar el servidor solo podemos adivinar.
Si en los logs no viste nada raro, apoya la idea de un problema de red, pero hay que ver cuales logs revisaste. Devuelta, para poder orientarte bien en este caso hace falta revisar el servidor.
Si te llega a interesar ofrecemos ese servicio, de lo contrario si tenes mas dudas, solo publicala y yo u otro usuario del foro te va ayudar.
Supongo que este monitoreo lo estas realizando para argumentar contra tu proveedor ya que de lo contrario , estarías buscando una solución sabiendo que el problema existe. Si es el caso supongo que ellos ya te habran dado una respuesta, si la compartís también te podremos decir si tiene lógica