婚姻上的遗弃行为的认定是：一、与虐待罪的界限，二、与故意伤害罪的界限，三、与故意杀人罪的界限。

一、与虐待罪的界限：遗弃罪侵犯的客体，是家庭成员之间相互扶养的权利义务关系;而虐待罪侵犯的客体则是复杂客体等。

二、与故意伤害罪的界限：遗弃罪的客观方面，表现为对没有独立生活能力的家庭成员，具有扶养义务而拒绝扶养的行为;而故意伤害罪的客观方面，则表现为非法损害他人身体健康的行为。

三、与故意杀人罪的界限：遗弃罪在客观方面一般是将被害人遗弃于能够获得救助的场所，如他人家门口等。故意杀人罪在客观方面则是将婴儿或行动困难的老人放置于不能获得救助的地方。

【法律依据】

《婚姻法》规定，对遗弃家庭成员，受害人有权提出请求，居民委员会、村民委员会以及所在单位应当予以劝阻、调解。

对遗弃家庭成员，受害人提出请求的，人民法院应当依法作出支付扶养费、抚养费、赔偿费的判决。