离婚损害赔偿只能由无过错的一方提起，而且只能在离婚诉讼时或离婚后一年内提起。

【法律依据】《婚姻法》第四十六条规定，有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：

(一)重婚的；

(二)有配偶者与他人同居的；

(三)实施家庭暴力的；

(四)虐待、遗弃家庭成员的。