养非亲生子离婚时，不能向对方主张精神损害赔偿，根据《婚姻法》第四十六条，有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：
（一）重婚的；
（二）有配偶者与他人同居的；
（三）实施家庭暴力的；
（四）虐待、遗弃家庭成员的。
