第二年，高帝顺利平定了黥布的叛乱，等到回京以后，病情更加严重。刘邦感到自己也活不了多久了，便更加想要更换太子。张良知道后极力为太子劝谏，但是刘邦固执己见，并没有听从他的意见。张良无奈，便因病而不再参与政事。太傅叔孙通也不赞成更换太子，就引用古今事例对高帝进行劝告，为了表示决心，竟然以死来争保太子。刘邦实在是被逼的没有办法，就假装答应了他，但是实际上仍然打算更换太子。不久，朝廷举办了一次宴会，太子在高帝身边侍奉。四位贤者这次也随着太子来了。他们的年龄都已经八十多岁，须眉雪白，衣冠奇特。刘邦看见后感到很奇怪，就问太子：“他们是些什么人啊？”四人便依次上前回答，说出了各自的姓名。刘邦听了之后非常吃惊，没想到他们竟是自己多年苦苦寻觅的良才，惊奇地问他们说：“我访求各位多年，你们却总是逃避我。如今，你们为什么自愿地跟随太子呢？”四人不假思索地回答说：“陛下轻视士人，张口就骂人。我等重视道义，不愿意受无端的侮辱，所以就惶恐地逃亡、躲藏起来。我等后来听说太子为人仁义、孝顺，恭敬有礼，爱慕士人，天下之人没有不愿意为太子效死力的，所以便来投靠太子了。”刘邦接着就对太子刮目相看，并且对他们四人说：“既然你们现在已经跟随了太子，那就劳烦各位始终如一地调教、保护好太子，寡人心里也就放心了。”
四人祝寿完毕，快步离去。刘邦目送他们，心想这下太子的地位被保住了，同时召唤戚夫人，指着刚刚离去的四人对她说：“爱妃呀！我本来打算更换太子，无奈他现在得到这四人的帮助。我们的计划全泡汤了！太子的羽翼已经形成，很难更换了。吕皇后看样子果真要成为你的主人了。”戚夫人听了之后非常绝望，哭泣不止。刘邦也很悲伤，安慰她说：“你为我跳楚舞，我为你唱楚歌，把忧愁忘掉吧！”于是，刘邦起声唱道：“天鹅高飞，展翅千里。羽翼已成，横越四海。横越四海，当可奈何！虽有短箭，尚有何用！”刘邦呜咽着连续唱了好几遍，无奈之下停了下来。戚夫人一边跳舞一边流泪，动作明显地也失去了往日的风姿，显得有些僵硬而无力。刘邦悲哀不已，起身离去。尽避“天下没有不散的筵席”，散去的方式也各不相同，但作为万人景仰的天子刘邦以不欢而散的方式离开却是史无前例的，这样看来皇上也不是像普通人认为的那样事事都能如意。刘邦最终没有能更换太子，这已经被历史的实际所证明。阻止刘邦更太子计划的幕后主使者是张良，召来这四人的计划也是张良献的计策，这四人没有辜负张良的期望，发挥了他们应有的作用。
命中的仙怪
在过去的几年里，张良与刘邦的关系非常融洽，所以他们经常在一起海阔天空地讨论过天下许多事情，但是大多数都与天下的存亡没有什么重大关系，史书没有记载这些内容也是很正常的事情了，我们了解这些只能通过一些野史或者口耳相传般像阿猫阿狗之类的街巷故事被广泛流传。汉朝稳固了它的统治以后，留侯张良便公开宣扬说：“我家世代为韩国相国，对韩国充满着家一般的感情，国家灭亡以后我常常茶不思饭不想，为韩国向强秦报仇成为了我那以后最大愿望。为达到目的，我不会吝惜自己的万金家产，积响应汉王推翻暴秦的起义，使得天下硝烟奋起号称有百万雄师的秦朝也灭亡了。如今天下太平，我凭借着这三寸不烂之舌成为地位显赫的帝王军师，封的食邑有万户之多，位居列侯，这是平民出身的子弟们所能想象的最高点，皇上所给的这一切我已经是很满足了。哎！我也老了，从今以后，我愿意抛弃人间一切烦心的事情，想要追随赤松子（传说中的仙人）像仙鹤一样无忧无虑地去遨游大千世界。”张良从此开始系统学习“辟谷法”，因为只有体重下降才符合辟谷神功的要求，所以张良在下定决心以后，就开始严格奉行导引以便使自己逐渐轻身。就在这时刘邦去世了，掌握政权的是吕太后。她感激张良恩德，不想让他就这样死去，派人一日三餐地监督他吃东西，并且对他说：“人生在世，如同白驹过隙那样短暂，您何必自讨苦吃到了这种地步呢！”张良不得已，勉强听从了吕太后的话，敷衍塞责地进用些食物，这才暂时保住了自己一条老命。