Hola, antiguamente se hacía como te dice el compañero, ahora ya es más fácil pues es algo que estuvieron solicitando los usuarios/as en las últimas versiones, poder dar formato HTML a la sección de LEYENDA.
Sólo añades en la CAJA DE LA IMAGEN de WordPerss denominada LEYENDA el código HTML que quieras insertar.
Si tienes dudas de cómo generar el link puedes usar algún editor html online
Online HTML Editor
y ya sólo es que copies el código.
Así quedaría (si es una imagen recién insertada el campo LEYENDA se muestra en otra ubicación, pero igual es lo mismo)
Por supuesto puedes jugar con más efectos, centrado, colores, etc, pero ahí sí te toca con algo de CSS, pero algún editor online como el que te pasé te puede ayudar para darle el formato.