政治人物的思想特别奇怪，当外部条件发生变化之后，他们对一些事物的基本看法都会发生翻天覆地的转变。卫家在的时候，刘彻如鲠在喉，感到很不舒服；现在卫家的人被杀得干干净净了，刘彻又浑身不舒服，想念起了卫家的好处和优点来了。
前太子刘据的平反昭雪成为卫家名声好转的转折点。老百姓对死去的刘据很有好感，对他的死很同情，都相信刘据不会用木偶人诅咒皇上。随着时间的推移，江充等人陷害太子的证据也渐渐败露出来，民间的舆论开始朝着有利于刘据的方向发展。刘彻冷静下来后，也开始相信儿子刘据起兵主要是被逼自卫，并没有谋害自己的意思。关键时刻，负责守护西汉开国皇帝陵墓的小官、高寝郎车千秋上书为刘据犯颜直谏，扭转了整个局势。他写道：“儿子对着父亲舞刀弄枪，应该受到鞭笞。如果皇帝过失杀死了太子，那又应该做何处理呢？”刘彻对车千秋的上书非常感慨，之后，巫蛊动乱的处置完全被颠倒了过来。刘彻在儿子遇害地修建思子台和宫殿，追念刘据，追悔莫及。卫家的名誉也很快得到了恢复。
冤假错案得到了拨乱反正，汉武帝刘彻的寿命也快走到了尽头。他叫画工画了一幅周公抱着周成王接受诸侯朝见的图画赐给霍光。后元二年（前87）春天，汉武帝刘彻又一次病重，霍光流着泪问道：“皇上万一归天，谁可继承皇位？”刘彻说：“你难道不明白我赐画的意思吗？我让幼子继位，你来当周公。”汉武帝定最小的儿子刘弗陵为新太子，选中谨慎可靠又出身霍家的霍光来当辅政大臣。
霍光是霍去病同父异母的弟弟，是霍中孺正儿八经生下的孩子。霍去病成人之后才知道自己的身世，一次征讨匈奴路过霍中孺的家乡，认了霍中孺这个父亲。霍去病认父后，把弟弟霍光带走了。当时霍光年纪十岁出头，因为霍家的荫庇，担任了郎官，伺候在汉武帝刘彻身边。霍光的性格和霍去病完全不同，埋头做事，小心谨慎，在服侍汉武帝的二十多年时间里，竟然连一丁点儿的小错误都没有犯过。
刘彻死后，刘弗陵继位，就是汉昭帝。汉昭帝刘弗陵年仅八岁，按照武帝遗诏封霍光为博陆侯，将国家大事全都交给霍光处理。卫霍家族迈出了复兴的扎实步伐。
霍光自受汉武帝遗诏辅弼汉昭帝以来，历经四代皇帝，主持朝廷政务二十年。其中还主持废黜了废帝刘贺，力排众议拥立了流落民间的皇子刘询，权势更在卫青之上，成为前所未有的大权臣。刘询就是汉宣帝，虽然贵为皇帝，但每次祭祀都要和霍光同车。坐在同一辆车上，刘询竟然有芒刺在背的感觉。
霍光功绩、势力和声望都超过了作为皇帝的刘询。在皇权至上的时代，霍光家族严重侵犯了皇权。霍光攀登到权力巅峰后，之前谨小慎微的言行淡化了，开始恋栈揽权，也没有与刘询保持良好的关系和沟通。霍光迫使刘询迎娶自己的女儿霍成君为皇后。这个霍成君又密谋杀死了汉宣帝的发妻许氏，霍光知道女儿的罪行后，竟然帮忙掩饰。霍光活着的时候，刘询有心除掉他，却忌惮他的权势，只是暗中谋划。霍光一死，刘询就有步骤地去除霍家的权势。霍家子弟不满，竟然图谋政变换皇帝。事情败露后，霍家子弟自杀的自杀，其余的被腰斩弃市。刘询以政变案为突破口，大规模清理霍氏党羽，因此案受到株连被灭门的有数千家之多。皇后霍成君被勒令自杀。霍家又重复了一遍亲戚卫家的权势往事。
中国古代政治史，从某个角度说是皇权和大臣权力之争。斗争的结果，皇权胜多败少。其中的原因很复杂，我们单单在两千多年后再来看看卫氏家族的起伏。我们不能不承认帝王杀戮太过，同时也感叹权臣避祸的艰难。
其实在西汉的君臣关系史中有很多可以借鉴的先例。汉初名相萧何韬光养晦，保全自身及后裔。他权势最大的时候却在穷乡僻壤置办家业，一来为子孙留栖身之地，二来也因为土地偏僻贫瘠，希望不被后代豪强觊觎。汉武帝时的丞相田自恃是皇帝的舅舅，“权移主上”，受到武帝警告后始有收敛，得以全身而终。而开国元勋周勃之子、平定七国之乱的大功臣周亚夫仅仅因为被景帝视为“此秧秧，非少主之臣”，就被以谋反罪下狱，死在狱中。类似的故事，在其他朝代不断重演。不论是圆满的结局，还是惨重的血腥故事，无不围绕着“君权—权臣”的矛盾展开的。