He conseguido solucionarlo. Comparto la solución por si alguno más le ocurre.
Mi dominio es un .com (esto no lo aclaré antes), y he dejado finalmente el sitemap que genera Yoast.
Para que lo coja Google Seach Console, lo que he hecho ha sido borrar el sitemap que no pillaba y he enviado cada sitemap por separado, es decir, el de categorias, post, paginas.... cada uno por separado. Cuando los añadía me decía el mismo error de "No se ha podido obtener" pero si pinchaba en él, Google me decía que lo había leído correctamente y al volver a la pantalla de sitemap ya me salía ese como leído correctamente. He repetido el proceso con los otros sitemap y a continuación los he borrado y he vuelto a subir el sitemap principal (el que incluye los otros sitemap). Lo mismo, no lo ha cogido, me he metido dentro y me salían los otros sitemap que si los había leído y el numero de url leídas, he vuelto a la pantalla de sitemap y listo, ya me sale en verde como leído correctamente.