a diferencia de photoshop illustrator no trabaja con profundidad de pixeles por lo que la calidad siempre es la misma, esa es la diferencia de trabajar con vectores precisamente osea podes dar todo el zoom que quieras y la calidad siempre es igual, por lo que la calidad de una imagen png se produce en el momento de guardar como imagen png segun los atributos y nivel de calidad que elijas.
ahora bien sin saber que es lo que estas haciendo mal se me ocurre que la principal posibilidad de lo que te esta pasando es que tu area de trabajo en illustrator tenga un tamaño demasiado pequeño entonces al ver la imagen que guardas se pixela al verla en un tamaño mas grande... pero es solo supocicion...
si es eso proba generar un area de trabajo mas grande y guardar nuevamente la imagen y ver si asi la vez con mayor definicion...
no soy muy bueno explicando realmente , espero se entienda.
(fijate cuanto mide el vector que estas queriendo convertir en png, es posible que la pixelacion se deba a cuando visualizas la imagen esta se vea grande pero la imagen en si es muy pequeña, estoy diciendo cuando la vez ya fuera de illustrator obviamente)