你可以选择协商处理，协商不成可以起诉要求解除同居关系并对子女抚养问题和同居期间共同财产分割问题一并处理，两个子女的话如果双方没有不利于抚养子女情况，各抚养一人的可能性较大，抚养费负担问题可以协商，协商不成法院会依法判决，同居期间共同财产一般平均分割。
由于你们没有办理结婚证，从法律关系上还属于同居关系，解除同居关系时可参考婚姻关系一并处理，子女抚养按照有利于子女健康成长原则处理，同居所得财产一般平均分割，但对举证要求较为严格。