依据我国相关司法解释的规定，夫妻双方都构成重婚的，其前一段婚姻关系可以起诉至法院进行解除，而后建立的两段婚姻关系属于无效婚姻，故不存在解除与否的问题。
相关法律规定
《最高人民法院关于人民法院审理未办结婚登记而以夫妻名义同居生活案件的若干意见 》
已登记结婚的一方又与第三人形成事实婚姻关系，或事实婚姻关系的一方又与第三人登记结婚，或事实婚姻关系的一方又与第三人形成新的事实婚姻关系，凡前一个婚姻关系的一方要求追究重婚罪的，无论其重婚行为是否构成重婚罪，均应解除后一个婚姻关系。前一个婚姻关系的一方如要求处理离婚问题，应根据其婚姻关系的具体情况进行调解或者作出判决。
《中华人民共和国刑法》
第二百五十八条 【重婚罪】有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。