Pueden ser varias cosas.
La primera, puede que tu grupo de usuario tenga prohibido subir avatares animados. Para resolverlo, edita tu grupo de usuario y revisa las opciones de Avatar, ahí te encontrarás con la de habilitar subir avatares anivados.
Si no es eso,
Debes cambiar de GD a imagemagick. Eso se hace en las opciones de vBulletin, en Configuración de Imagen. Ahí debes elegir Imagemagick, y también especificar la ruta donde está instalado.
Si no tienes idea de si imagemagick está instalado en tu servidor o de cual es la rúta, preguntale a los de soporte de tu host.