Te recomiendo usar títulos más descriptivos, en serio : ) (solo entrré porque vi cero respuestas)
Primero lo primero: el ejemplo que pones que redirige a customerror404 es cuando esa página no existe en tu blog?
De pura casualidad, tienes tu blog en un reseller gratuito de Byet (me imagino eso porque ahí empecé yo, y luego hasta registré mi propia cuenta reseller : p )?
Edito para agregar:
Si no sospecho mal, la redirección a custom404error es porque no lo tienes configurado en tu archivo .htaccess en la carpeta raiz de tu ftp (si es de Byet, como sospecho, será algo como: tu_user/tudominio.com.ar/htdocs )
Busca un poco sobre "custom 404 page" o "custom error pages" o "configurar 404 en htaccess"
Si tienes cualquier duda con eso, responde acá : )
Los enlaces del theme, me imagino, son un widget. Entras a tu panel de Wordpress (tudominio/wp-admin) y vas a la sección "diseño" (del lado izquierdo), y luego a widgets. Ahí quitas o pones los que quieras (=
Lo tercero, yo uso WP Super Caché, no he proobado el que mencionas