并不是每个公司都需要缴纳残保金。以下几种情况可以免征残保金：

1、自工商注册登记之日起三年内，对安排残疾人就业未达到规定比例、在职职工总人数二十人或二十人以下的小型、微型企业，免征残保金。

2、用人单位遇不可抗力灾害或其他突发事件遭受重大直接经济损失时，可以申请减免残保金或缓缴残保金。且申请减免残保金的金额不得低于该企业一年应缴纳残保金的额度。