Indistintamente de si usas x264 o x265, un preset mas lento aumenta también la compresión (más lento, más comprimido).
Si quieres tener la mayor calidad a un peso mas o menos fijado (X tiempo igual a Y peso), lo mejor es no usar CRF (o RF como sale en handbrakre) y en su lugar usar VBR (fijar por tasa de bits), colocando que se hagan varias pasadas y no usando la opción de análisis turbo (puedes probarlo para ver si te renta).
Finalmente, el profile ("Afinar") que uses igual importará mucho para la calidad, así que no lo dejes en "Ninguno" porque sí. Esto afecta levemente en el peso cuando usas CRF y mucho en la calidad cuando usas VBR.
kj