霍光朝廷势力太过于强大，得罪朝廷很多人。霍光权倾朝野，在生前成为无冕之王。而且把持权力，废立君王。使得汉宣帝一直担心自己的安危，如芒刺在背。加上霍家上下借机作威作福，为所欲为，得罪了很多人。最该死的是霍显为了让女儿当皇后，甚至下毒谋害许皇后。这已经够得上灭门之罪。