Debes de crear tus NS en tu panel de dominio:
NS1.TUDOMINIO.COM IP DEL VPS
NS2.TUDOMINIO.COM IP DEL VPS
estos NS debe de ponerlo en tu dominio para que apunte a la IP de tu VPS. Si deseas algo mas facil, usa cloudflare, podras apuntar tu dominio directo a la IP del VPS.