由于没有办理结婚手续，不属于法律上的婚姻关系，因此无需离婚，直接解除同居关系即可。孩子由有利于孩子成长一方来抚养，两周岁以下的孩子通常由女方抚养，可以通过诉讼方式积极主张孩子的抚养权。

根据《婚姻法》规定，两周岁以下的子女，一般随母亲生活。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。