Wordpress tiene su propio sistema interno de Sitemaps - no lo necesitas
¿Plugin de SEO? ¿Con qué fin? Según google cualquier intento de hacer SEO está mal visto ahora ¿entonces?
Un plugin de SEO como el de Yoast es indispensable para cualquier proyecto ya que le facilita la tarea a google. Casi ningún theme esta bien optimizado para SEO ONpage.
Una de las cosas básicas que podes hacer con el plugin de Yoast es establecer una correcta estructura para los títulos,Instalar y configurar opengraph para que se muestre correctamente en facebook. Tiene su propio generador de Sitemaps que en mi opinión es genial porque según lo que elijas divide los post por categorías y las imágenes de los post, de manera que al agregarlo en webmasters tools le estas diciendo exactamente que es lo que tenes.
Después claro esta las opciones en cada post, que te permite agregar la descripción que queres que se vea en google, establecer correctamente el titulo y te da consejos para crear una entrada como corresponde.
Es como todo ,si se sabe usar tiene mucho potencial, de lo contrario ...
Y en cuanto a tu inquietud por google es todo lo contrario ya que lo que hace el plugin es aplicar las recomendaciones que da el propio google con unos pocos clics ,evitándonos tener que implementar todo a mano corrigiendo y cambiando el código de nuestros themes.
Lo que google Penaliza son las tecnicas Blackhat de SEO (onpage y offpage) como puede ser llenar de keywords la pagina del mismo color del fondo, redireccionar las visitas a un contenido dif al esperado, etc. Y offpage la conocida manipulación de los resultados en base a spam y otros métodos .En fin todo lo que ya conocemos que Google odia