在以下三种情况下，购房者是可以向开发商退回认购金：

1、在开发商没有取得《房地产预售许可证》，即不具备商品房预售法定条件的情况下，其与购房者约定的购房定金是无效的。根据《合同法》无效合同的处理原则，不论双方是签订《认购协议》，也不论双方是否约定定金退还事项，开发商都应无条件退还定金给购房者。

2、如果开发商没有取得《房地产预售许可证》，却故意隐瞒重要事实或提供虚假情况谎称已取得《房地产预售许可证》，开发商须对此承担缔约过失责任，除退还购房者定金外，还应该赔偿购房者利息等资金损失及其他有关财产损失。

3、在开发商具备商品房预售法定条件，取得《房地产预售许可证》的情况下，如果双方只约定了购房者拒绝订立《商品房买卖合同(预售)》便无权要求退还所交付定金，购房者则可以该约定有失公平为由，申请法院或仲裁机构变更或撤销该约定，要求开发商退还所支付现金。