No, limitar los fps no ayudara en esto. El monitor trabaja en HZ (hertz), o sea imagenes por segundo o refrescos de la imagen de pantalla. Y tu placa envia imagenes por segundo (los famosos fps que conoces). Estas imagenes que envia la placa deberian ir rellenando cara HZ que muestra tu monitor con una imagen. Sin embago si envias menos FPS, el monitor mostrara hz intermedios con la misma imagen que ya tenia antes, por lo que no te mostrar un bajon de fps, sino un movimiento menos fluido (pero poco perceptible realmente).
Lo que sucede aqui es que e esos bajones de FPS estas siendo limitado por algo, ya sea el calor o algun componente que baja su rendimiento momentaneamente. Para saber esto la forma mas facil es pedir un monitor prestado a alguien y poner el 2ndo a tu derecha con programas de control de temperaturas y rendimiento de hrdware en vivo. Entonces te pones a jugar y donde veas un bajon fuerte, mira que componente esta dando el 100% de su capacidad y es probable que ese sea.
Si ninguno lo esta dando y ves que los MHZ de frecuencia de algun componente como el CPU o la Placa bajan abruptamente eso es overthrottling y se debe al calor. Lo hace para proteger los componentes.