No solo en rendimiento, que de hecho casi no hay diferencia en eso en cuanto a usar unas u otras. Lo más importante es para tener un código más legible. Yo personalmente no me gusta meter variables dentro de cadenas (con comillas dobles), en los unicos casos que las llego a usar es, con sublime text, cuando hago alguna query (que por algún motivo u otro no puedo hacerlo con consultas opreparadas) que ocupo meterle alguna variable, ya que como sublime text le hace un remarcado al SQL si hago una concatenación la siguiente parte no lo remarca. Pero en esos casos que llego a usar variables dentro de cadenas siempre las meto entre llaves, ya que asi se distinguen mejor.
Saludos.