购房人要解除合同是需要要承担责任的，但不是既交违约金又交定金，而是缴纳违约金或者定金中的一种。根据《中华人民共和国合同法》第一百一十六条，当事人既约定违约金，又约定定金的，一方违约时，对方可以选择适用违约金或者定金条款。结合本案具体情况来看，开发商可能要求缴纳违约金，因为违约金比定金要多。

不交违约金是不行的，如果购房人不按时缴纳违约金是有相应的惩罚的。根据《中华人民共和国合同法》第一百一十四条第三款的规定，当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。如因购房人未履行相应的义务给对方造成扩大损失的，对方将会追究相应的责任。《合同法》第一百一十九条的规定，当事人一方违约后，对方应当采取适当措施防止损失的扩大；没有采取适当措施致使损失扩大的，不得就扩大的损失要求赔偿。当事人因防止损失扩大而支出的合理费用，由违约方承担。