如果夫妻中的一方或双方仅仅是单纯的有婚外情行为的话，一般不构成犯罪的。

但此时需要区分婚外情与重婚，因为是在婚姻关系存续期间与他人以夫妻名义同居，则涉嫌重婚罪。此时就需要按照《刑法》规定，对重婚的一方定罪处罚。

【法律依据】

《刑法》第二百五十八条规定，重婚罪有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。