但是现在却因为上林尉没回答出皇帝的提问，而具体负责饲养动物的啬夫回答出来了，就要免去原上林尉而提拔啬夫。要是这样做的话，岂不是提倡人们都去向啬夫学习，都在皇上或上级面前伶牙俐齿、喋喋不休地显示自己，以便得到嘉奖和提升吗？皇上知道，秦朝重用的就是一批舞文弄法、耍嘴皮子的人为官吏，他们在任官期间不去体察民情，对百姓的痛苦毫无仁爱同情之心，挖空心思只是想在官场上攀比看谁有口舌之才、看谁办案和完成朝廷交办的事快捷、看谁监督下级官吏和百姓苛暴繁细。他们不顾百姓的死活，不管会对国家造成什么样的危害。结果，秦朝官吏不干实事，搞得朝廷各职能部门也是徒具空名而无其实。这样一来，秦朝从上到下的官吏都把国家安危、百姓的命运置之脑后。
由于秦朝由这样一批只图虚名而不干实事之徒掌握了国家大权，所以他们对秦始皇的过失不仅不谏阻，反而向朝廷隐瞒百姓的困苦和秦朝危亡的真情，从而加重了秦始皇的过失。这样，才会在秦二世的时候发生陈胜、吴广起义，秦朝也就土崩瓦解了。
现在，皇帝陛下因为看到啬夫口齿伶俐，善于对答就要破格提拔他。我担心从今以后天下的人都会争相仿效。我认为看人不能只重口辩之才，而不看重少说多干或只干不说的务实精神。再说，下面各地若知道这件事后，仿效起来就会如影之随形，响之随声一样快的。所以朝廷办任何一件事都要考虑到后果，什么该办，什么不该办，必须慎重啊！”汉文帝听了张释之的一番话后，改变了自己原来草率的决定，收回了罢免上林尉和任命啬夫的诏令，并真诚地说：“还是卿家的话说得对。”
升任廷尉
一次，太子与梁王同乘一辆车入朝，到了皇宫外的司马门没有按照国家的规定下车，当时张释之迎上去阻止太子、梁王，不让他们进宫。并检举他们在皇宫门外不下车犯了不敬之罪，并报告给皇帝。薄太后知道了这件事，文帝摘下帽子赔罪说：“这怪我教导儿子不严格，请您原谅。”薄太后派使臣带着她的赦免太子、梁王的诏书前来，太子、梁王这才能进入宫中。文帝由此更加看出了张释之的与众不同，任命他做了中大夫。
又过了些时候，张释之升任中郎将。一次，张释之跟随文帝到了为文帝自己修建的霸陵，汉文帝站在霸陵的北面眺望。文帝的宠姬慎夫人也跟随前行，皇帝用手指新建造的道路给她看，并感慨地说：“这是通往邯郸的道路啊。”接着，文帝让慎夫人弹瑟，他自己合着曲调歌唱，心里很是凄惨悲伤，回过头来对着群臣说：“唉！用北山的石头做椁，用苧麻丝絮堵塞石椁缝隙，再用漆粘涂在上面，谁还能打得开呢？”在身边的近侍都连连称是。张释之走上前去说道：“假若里面有了引发人们贪欲的东西，即使封铸南山，也还会有缝隙；假若里面没有引发人们贪欲的东西，即使没有石椁，也用不着忧虑啊！”文帝称赞他说得好，后来任命他做了廷尉。
公正的廷尉
一次，文帝出巡经过长安城北的中渭桥，有一个人突然从桥下跑了出来，皇帝的驾马因此受到惊吓。文帝命令骑士捉住这个人，交给了廷尉张释之。张释之审讯那个人。那人说：“我是乡下人，听到了清道禁止通行的命令，就躲在桥下。过了好久，我以为皇帝的队伍已经过去了，就从桥下出来，没想到正好撞到了皇帝的车队，因为害怕就跑了。”廷尉张释之向皇帝报告说，那他触犯了清道的禁令，应处以罚金。文帝发怒说：“这个人惊了我的马，幸亏我的马驯良温和，假如是别的马，说不定就摔伤了我，可是廷尉才判处他罚金！”张释之说：“法律是天子和天下人应该共同遵守的。现在法律就这样规定，却要再加重处罚，这样法律就不能让百姓信服了。而如果在当时，皇上您让人立刻杀了他也就杀了。现在既然把这个人交给廷尉，廷尉是天下主持公正执法的人，稍一偏失，天下执法者都会任意或轻或重地去判罚，老百姓岂不会手足无措、无所适从？愿陛下明察。”许久，文帝才说：“廷尉的判处是正确的。”