遗产保管人侵吞遗产，可向法院起诉，要求返回或赔偿损失。根据《继承法》第二十四条，存有遗产的人，应当妥善保管遗产，任何人不得侵吞或者争抢。遗产保管人是在被继承人去世时存有遗产，依法应当对该遗产承担保管责任的人。
