成长在单亲家庭的菲尔普斯身材消瘦，尤其是一双大耳朵常常让他遭到小伙伴的嘲笑。菲尔普斯的母亲戴比说，菲尔普斯十一岁的时候曾经哭着从特沃森大学举办的游泳集训中跑回来，因为有两个其他队的孩子和他开了些不太友好的玩笑。每当有坏孩子嘲笑他的“大象”耳朵，他就会去游泳，水池仿佛成了他的避难所。四年后，菲尔普斯进入了美国国家队，备战2000年悉尼奥运会200米蝶泳时，那两个孩子中的一个来到他们训练的场馆里祝贺他。那小孩问菲尔普斯是否还记得他，戴比很快记起了这个孩子，但是菲尔普斯却打断了他的话，否认他认识这个男孩。