Si editas eso, se editará en todos los widgets y tu quieres ponerle un titulo a cada widget... cada widget tiene un class para diferenciarlo, por ejemplo el de categorias es widget_categories ve mirando uno a uno y haciendo lo mismo que te voy a decir a continuación poniendole la imagen a cada uno.
El archivo donde tienes que poner esto es el style.css al final del todo
Insertar CODE, HTML o PHP:
.widget_categories h3{width:331px;height:38px;background:url(img/imagen.png) no-repeat;text-indent:-9999em /* text-indent no es necesario, es simplemente para quitar el titulo que tenga en caso de tener y así no tener que editar uno a uno los widgets y quitarle el titulo, ya que quieres poner el titulo a mano */}
Asegurate de que el tamaño de la imagen es el adecuado para el tamaño de la barra lateral de tu theme, si no tendrás que hacerla mas grande o mas pequeña dependiendo...
También asegurate de que la carpeta img o images de tu theme tenga la imagen.png o como quieras llamarlo, si la carpeta o el nombre de la imagen cambia, tendrás que cambiarlo en el background url del código que te dí antes.
Esto es la manera mas fácil de hacerlo, yo lo hago de otra forma más dificil pero mejor... :encouragement: