En efecto, Google te puede penalizar por esa práctica, te copio un extracto de las directrices de Google, para que te hagas una idea:
"Texto y enlaces ocultos
Esconder texto o enlaces en tu contenido para manipular el ranking en la búsqueda de Google puede considerarse engañoso e incumple las Directrices para webmasters de Google. El texto (como, por ejemplo, un número excesivo de palabras clave) se puede ocultar de distintas maneras, por ejemplo:
mediante texto blanco sobre fondo blanco,
incluyendo texto detrás de una imagen
usando CSS para incluir texto fuera de la pantalla
configurando el tamaño de fuente a cero
ocultando un enlace en un solo carácter (por ejemplo, un símbolo "&" en mitad de un párrafo)
Al evaluar su sitio para comprobar si incluye texto o enlaces ocultos, busque todos los elementos que los usuarios que visiten su sitio no puedan leer con facilidad. ¿Existen textos o enlaces que son solo para los motores de búsqueda y no para los usuarios?"
Te recomiendo el plugin de All In one como te ha indicado el usuario de arriba.
Un saludo!