可能还有人对卫家不满，认为卫青只是运气比较好，英勇善战而已。谁处在卫青的角色，上有皇帝姐夫的信任，内有汉朝积累了五十多年的物资储备，都能建立一番功业。这样的观点把卫青这个人物看得太简单了。卫青绝对不是一个只知军事、不懂权谋的人。
在霍去病崭露头角的那次征战中，右将军苏建和前将军赵信的主力部队被匈奴大军打得死伤惨重。赵信本来就是匈奴的降将，战败后投降了匈奴；苏建杀出重围，只身一人逃回来向卫青请罪。面对惨败，有人要求追究苏建的责任，认为他“弃军而逃”；有人建议将苏建斩首示众，严肃军纪；也有人认为苏建尽力后才战败的，不应斩首。如果把苏建杀了，不就是逼着战败的将领有家不敢回，反过去投降匈奴吗？大家争来争去，需要卫青拍板定夺。卫青有权力处斩部将，但他没有杀苏建。杀苏建的坏处很明白，会寒一部分将士的心，而且容易给人专横的感觉，得罪一批人。但是苏建的确对战败负有责任，于是卫青把苏建用囚车送回长安，交由刘彻处理。结果，刘彻非常满意卫青有权不专权的举动，同时赦免了苏建的死罪，让苏家用钱给苏建赎罪。苏建被贬为平民百姓，但对卫青感激不尽。
卫青对苏建的处置，表现出了成熟政治家的风范。卫青发达了，一直保持着谦虚稳重、行事谨慎的作风。当汉武帝要分封他那三个年幼的儿子为侯时，卫青坚决推辞：“我的功劳是全体将士拼死奋战的结果。我的儿子年纪尚幼，毫无功劳，陛下却要分割土地封他们为侯，我们父子怎么敢接受封赏。还是请陛下分赏众位将士，激励大家更好地杀敌吧！”汉武帝知道了，封赏了卫青部将公孙敖、公孙贺等人，犒赏将士，同时坚持封其子卫伉等三人为侯爵。结果，大家皆大欢喜。
由此可见，卫青能够在短短几年中威震四海，位极人臣，是有道理的。
有一天，卫青的好朋友甯乘来访，提醒卫青说：“大将军之所以食邑万户，三个儿子都封侯，主要还是靠皇后的功劳。”接着，甯乘慢慢说来：“任何事情都物极必反。没有一个家族能够永远保持富贵，就好像月亮不会永远圆满，海水不会永远停留在浪尖一样，卫家迟早也会走向衰落。”
卫青在权力巅峰，保持了清醒的头脑。他隐约感觉到，自家人名扬四海，部将亲属遍布朝野，如此辉煌之下总有哪里不太对劲。现在，甯乘给他点破了：“要防止皇上猜忌啊！”卫青恍然大悟，忙讨教如何应对。
甯乘说：“现在内宫之中，王夫人是皇上的新宠。但是王夫人出身卑微，她的家人依然生活在贫苦之中，希望大将军能够向王家赠送重金，联络感情。”卫青依计而行。
原来，随着岁月的推移，卫子夫无奈美貌不再。越来越多的美女进入了刘彻的床榻。在众多新进的美女中，刘彻最喜欢赵国王夫人。王夫人为刘彻生下了后来的齐王刘闳。这个王夫人和卫子夫一样出身卑微，可她不像卫子夫一样有弟弟卫青和外甥霍去病，王夫人找不出一两个拿得出手的亲戚来。她的亲戚实在不成器。刘彻就是想提拔王家，都找不到合适的提拔对象。所以王家依然生活在穷困之中。现在，王家突然收到了大将军、长平侯卫青送来的五百斤黄金，惊喜若狂，忙告诉了王夫人。
王夫人高兴得心花怒放，兴冲冲地告诉了刘彻。
刘彻却陷入了沉思。
卫青为什么这么做？他完全没有必要这么做。刘彻了解卫青，知道卫青个性耿直，不会主动巴结贿赂他人。刘彻找了一个机会，当面问卫青送黄金的事情。卫青一五一十地将来龙去脉告诉了刘彻。听了卫青转述的甯乘的提醒，刘彻明白，卫青这么做，是自降身份，表明要继续谦虚、团结他人的姿态。刘彻松了一口气，也高兴了起来。一来，卫青替自己照顾了新宠王家。二来，卫青厚道正直，对皇权敬畏如初，不敢专权跋扈，看来是不会威胁到自己的权威。刘彻对第二点尤其感到高兴，对卫青和卫家的防范之心放松了好多。那个提醒卫青的甯乘被刘彻任命当了东海都尉。
第二年（元狩元年，公元前122年）四月，刘彻正式册立卫子夫所生的皇长子、年仅七岁的刘据为太子。
卫家出了一位太子！未来的皇帝将会是卫青的外甥，是霍去病的表弟，卫家的权势更上了一层楼。现如今，谁还敢来找卫家的麻烦？谁敢来找卫家的麻烦，那是自找麻烦。
事情发展到这里，卫家的权势还能再进一步吗？
当时，平阳公主已经守寡多年，想要再嫁。她召集家臣、门客商议到底嫁给哪个王公显贵比较好。大家想都没想，异口同声地说：“卫青！”平阳公主一听，心中产生了顾虑。卫家之前是平阳侯家的家奴，现在要平阳公主反过来嫁给卫青，平阳公主的心里一时接受不了。而且，平阳公主也怕这桩婚事招来非议。
家臣、门客们开导公主说：“卫青是大将军、万户侯，他姐姐是皇后，外甥是太子，另一个外甥是冠军侯。卫青是有三个儿子，但那也是三位侯爷啊？如果不算公孙家、陈家等卫家的亲戚，卫家现在是军权在握、一门五侯。这样的人不嫁，公主您还有谁值得嫁呢？”
平阳公主觉得很有道理，就羞答答地将这个想法告诉了卫子夫，托她转告汉武帝刘彻，希望弟弟为自己和卫青赐婚。当年卫子夫入宫的时候，平阳公主嘱托她显贵之后不要相忘。卫子夫果然没有忘记，也很愿意帮这个忙，转告了刘彻。刘彻心想，好嘛，我娶了卫青的姐姐，现在卫青要娶我的姐姐，亲上加亲，是好事。皇帝认可了这门亲事后，卫青和平阳公主两人举办了盛大豪华的婚礼。同时，平阳公主还让自己和前夫生的儿子平阳侯曹襄娶了卫子夫和刘彻生的女儿卫长公主，死心塌地地要和卫家拴在一起。
大臣迎娶昔日的主人、当今皇上的姐姐，汉朝开国以来，还从来没有一个家族获得如此尊荣。让我们一起来盘点一下卫家的权贵网络，户主卫青的姐夫是皇帝，姐姐是皇后，外甥是太子，老婆是公主，继子是驸马，亲戚不是世袭贵族，就是实权将领。当时卫青上下朝，公卿大臣远远看见就要下车让路，立在道旁相迎相送。卫家的富贵荣华算是达到了顶点。