El sprite está pensado para evitar tener que hacer mucha conexiones y por lo tanto muchas descargas contra el servidor (y así reducir el tiempo de carga). Las que tu dices que más tardan "en cargar" son porque ocupan más espacio directamente. Ese tiempo, seguirá siendo ya que al hacer el sprite tampoco se reducirá el tamaño de las imágenes, simplemente hará menos consultas.
Normalmente los sprites están pensados para agrupar todos los "iconos" e imágenes pequeñas de la Web, que con eso ahorras tener que hacer muchas solicitudes al servidor. En tu caso, la web tiene pocas imágenes (eso está bien). Quizás podrías hacer un sprite con las flechas, la estrellita, mi cuenta, categorías, etc... Pero no mucho más.
Hacer un sprite con los thumbnails de los productos como dices es complicado, porque para usar sprites hay que usar las fotos con background de css y no usando la etiqueta img de html.
Viendo que usas un wordpress, podrías intentar configurar algún plugin de caché, y quizás así mejorarías mucho más el rendimiento y con mucho menos esfuerzo 🙂