把姐姐嫁给卫青后，汉武帝刘彻内心更加不安了。
刘彻是一个雄才大略的皇帝。一般雄才大略的人，权力欲就强，疑心也重。刘彻继位后对威胁自身权威的人和事情很敏感。他创办了内朝，开始把权力集中到宫廷，就是对朝堂衮衮诸公的不信任。卫青一家的势力遍布朝野、手握兵权，自然也受到了刘彻的猜忌。之前，卫青采纳甯乘的低姿态，让刘彻多少放心了一点。这也是刘彻同意姐姐改嫁卫青的原因之一。姐姐嫁入卫家后，卫青的权势熏天了，仿佛是“天下第二人”了，刘彻的猜忌心理重新泛起，开始不信任卫家了。他想，即使卫青没有不臣谋逆的心理，也保不齐被野心家利用啊！
刘彻开始疏远卫青，主要采取了两种方法：第一是让卫青离开前线军队，招到长安来居住议政，等于是将卫青高高挂起；第二是重用霍去病，让霍去病牵制卫青。这第二招很毒辣，等于是分化卫青家人，“拉拢一派，打击一派”。霍去病虽然是卫青的外甥，毕竟不姓卫，和卫家人的关系不那么密切。刘彻更看中的是霍去病的头脑相对简单。
霍去病“为人少言不泄，有气敢往”，只知道行军作战，消灭匈奴，在政治上很幼稚。刘彻曾经劝霍去病学点吴起、孙子的兵法，霍去病回答说行军打仗不拘泥于古代兵法，学那些玩意儿没用。刘彻发自内心地，同时也是有目的地，更加宠爱霍去病这个青年俊才了，着意培养，委以军事重用。一次，刘彻御驾亲临霍去病的府邸，见到霍家凌乱，就让霍去病多留心点家里。霍去病慷慨回答：“匈奴不灭，无以家为也。”这句话迅速传开，成为千古名言。霍去病的声望随之节节攀升。
而对于卫青来说，甯乘提醒的“物极必反”的危险终于到来了。
汉朝和匈奴的战争在继续，但卫青失去了对前线部队的直接指挥权，主要是发挥着名义主帅的作用。相反，霍去病上场表现的机会更多了。
元狩二年（前121）春天，霍去病升任骠骑将军，率一万骑兵出陇西，飞奔上千里，歼敌近万人。霍去病因功被加封两千户食邑。同年夏，汉武帝命令霍去病与公孙敖兵分两路攻打匈奴。霍去病率军深入，越过居延泽，到达祁连山，一举斩杀三万多匈奴人，捕获匈奴王族和大臣、贵族上百人。这场大败摧毁了匈奴人的自信心。他们悲伤地唱道：“亡我祁连山，使我六畜不蕃息；失我焉支山，使我妇女无颜色。”相反，刘彻非常高兴，又给霍去病增加了五千户食邑。
当年秋天，匈奴内讧，引出了一桩突发事件。匈奴的浑邪王和休屠王派人来到边境约期投降。敌情不明，西汉朝野不知道匈奴人是不是真心投降。如果不去，人家又是真心投降的话，就白白错过了机会；如果去了，匈奴大军可能埋伏在哪以逸待劳，汉军很可能自取灭亡。左右为难之际，汉武帝把“迎降”的高难度任务交给了霍去病。霍去病领兵朝约定地进发。汉朝军队还没到，休屠王反悔，不愿投降，已经被浑邪王杀了。可浑邪王的部将看到汉军到来，许多人也开始反悔，不想投降了，纷纷逃遁。局势有失控的危险。关键时刻，霍去病飞马跑进匈奴军营，与浑邪王相见，斩杀正在逃散的士兵数千人，稳定局面。接着，他派部分军队先护送浑邪王去面见武帝，又亲率部队督促着数万投降的匈奴大军，缓缓向内地前进，返回长安。此次，霍去病刀不血刃，迫降匈奴近十万军民，肃清了河西走廊，打通了东西交通，被加封食邑一万零七百户。
当时霍去病只有二十岁，就立下了并不比舅舅卫青逊色的功绩。他每战必胜，固然有艺高胆大，擅长长途奔袭、敌后作战的原因，更重要的是汉武帝刘彻的支持。霍去病部队的军官、士兵、武器装备和马匹战前精挑细选，都是一流的，要远远好于其他将领的部队。朝廷把最好的家当都拨付给了霍去病，如果没有刘彻的允许，怎么办得到？
到了公元前119年春，朝廷为了彻底击溃匈奴主力，集中全国的财力、物力大举征讨匈奴的时候，刘彻干脆将卫青名义上的主帅也给撤掉了。他命令大将军卫青、骠骑将军霍去病分别率领五万精骑，兵分东西两路，远征漠北。双方互不节制，分头行动。
卫青的运气也实在不好。匈奴大军将卫青的部队当作了主要防范对象。卫青的大军翻越大沙漠，奔波上千里之后，遭遇了以逸待劳、严阵以待的匈奴军队主力。双方的骑兵在草原上激战，杀得天昏地暗。一直打到黄昏，草原上突然刮起沙尘暴，飞沙走石，遮蔽了天日，双方根本就看不清敌我。卫青毕竟是个久经沙场的将军了，派遣预备队从两翼迂回到匈奴军队的背后，包围了单于的大营。这一招妙棋，使得战场的形势朝着有利于汉军的方向发展了。匈奴单于首先丧失了信心，跨马突围逃跑。卫青率大军乘夜突击，向北一直打到现在的蒙古首都乌兰巴托地区，烧毁匈奴辎重，胜利班师。
另外一边的霍去病，因为有舅舅缠住了匈奴军队的主力，进展非常顺利。他一路高歌猛进两千多里地，歼灭匈奴七万多人，俘虏匈奴王爷、将军等近百人，立下了比舅舅大得多的功劳。匈奴人一蹶不振，开始向西北迁徙。历史记载之后“漠南无王庭”。
天下终于太平了。外部的敌人没有了，汉武帝和朝廷还需要声望超群、领兵驰骋的卫青、霍去病吗？现在军功不可能再有了，只剩下皇帝的猜忌和防范。所谓“飞鸟尽，良弓藏；狡兔死，走狗烹”，说的就是如此微妙的时刻。
刘彻继续捧霍去病去压卫青，防止卫青家族团结一致，威胁皇权。卫青、霍去病胜利凯旋，卫青是大将军，霍去病是骠骑将军，又是万户侯，没办法再提拔他们了。刘彻很有创意，新增了“大司马”的官职，让卫青、霍去病并列为大司马。卫青是大司马兼大将军，霍去病是大司马兼骠骑将军，待遇相同。刘彻把霍去病置于了和卫青同等的地位。
这是一个很明显的信号。那些墙头草和势利小人纷纷给霍去病拍马屁，有事没事往霍去病家里跑，套近乎。其中就有很多原来经常在卫青家里出现的面孔。卫青家门口一下子就冷清了起来。好在卫青是一个厚道恬静的人，看开了。他家里人有时候也会感叹世态炎凉，卫青不以为意，认为这是人之常情，一声不响地过着恬淡平静的“寓公”生活，毫无怨言，和平阳公主相敬如宾，对刘彻毕恭毕敬。
卫青有一个一以贯之的优点，就是为人谦让仁和，在权势最显赫的时候不以势压人，更不结党干预政事。因此，虽然卫青已经没有了实权，威势不如以前了，但人缘还不算差。起码刘彻还很给这个小舅子面子，形式上应该照顾到的地方都给卫青照顾到了。
霍去病的人缘就没有舅舅那么好了。霍去病很早就在宫廷中当官，富贵来得容易，带着贵族公子哥的味道，给人的感觉不太好。出征打仗的时候，刘彻照顾他，派人给他送去了数十车的好东西。霍去病看上了车，把车里的粮食和肉却给扔了。要知道，许多从军的士兵平时吃不饱饭。霍去病却从来不注意官兵们缺衣少粮的情况，自顾自地穿戴整齐华丽。这样的人有皇帝的垂青，在下面的人缘却好不到什么地方去。不过话又说回来了，皇帝喜欢的就是霍去病这样只知道打仗、头脑简单、人缘差的功臣。
可惜，霍去病大胜归来没几年，就在元狩六年（前117）英年早逝，只活了二十四岁。刘彻很伤心，把霍去病的葬礼办得风风光光，把霍去病的坟墓修建在自己的陵寝茂陵旁边，造得像祁连山一样，纪念他的战功。