Según ha comentado el autor del plugin WordPress SEO Yoast, el tener category o no tenerla no tiene un impacto en el SEO.
En mi opinión a pesar de no tener impacto en el SEO si queda mejor sin tener /category/, pero bueno... es cuestion de gustos.
Los problemas creo que vienen de si por ejemplo tienes un articulo de url:
-http://www.web.com/wordpress-seo
Y tienes una categoria de nombre "Wordpress SEO" su url sería:
-http://www.web.com/category/wordpress-seo
En ese caso no hay ningun conflicto, pero el momento en que eliminas /category/ tienes la misma URL apuntando a contenidos diferentes, creo que esa es una de las problemáticas.