[MENTION=112643]aecortes[/MENTION] primero, siempre tendrás que agregar CSS, aunque uses bootstrap. También depende de lo que quieras conseguir, puedes basarte en boostrap pero modificar alguno de sus elementos para que éstos sean responsive.
Pero si vas a modificar muchos de los elementos originales del framework, y tienes un buen manejo de CSS y del responsive design, no veo la razón por la cual usar bootstrap...
Lo que muchos hacen es que crean su propio framework responsive, que no tiene tantos css como bootstrap, y emplearlo para poder hacer su página responsive.
En lo personal, a veces uso bootstrap, a veces no, depende del proyecto. Pero lo que me molesta de bootstrap es que usa floats. Detesto los elementos float. Prefiero trabajar con flebox o con inline-block.