受害人可以自己起诉遗弃罪。遗弃罪属于自诉案件，主要靠当事人自己收集证据。收集的相关证据应当形成证据链。《刑法》第183条规定，对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣，处五年以下有期徒刑、拘役或者管制。这里所指的情节恶劣，通常是指被遗弃人因生活无着而被迫到处乞讨，遗弃动机卑鄙，遗弃手段十分恶劣的，由于遗弃造成病、残、死亡后果的等情况。