李鸿章露了一手老辣的谋略之术后，就又和曾国藩闹翻，并第二次离营出走。
曾国藩保荐了左宗棠，让老左终于获得机会，一飞冲天。这让李鸿章极为不平衡，他知道自己的才略不在左宗棠之下，可是曾国藩却始终不肯推荐他，尤其是在巧妙拒绝了咸丰帝北上护驾之后，李鸿章认为自己已经有足够的资本跟曾国藩叫板了。
想叫板，机会总是不缺的，近视眼李元度事件，就成为这起师徒争吵的导火索。
曾国藩建湘军，士兵易募，将才难求。搞到最后，高度近视的李元度硬着头皮出来带兵，居然成为湘军中不可或缺的中流砥柱。但李元度终究不是将才，能把一支军队拖着到处走，就是他的本事之极限了，倘战场上交锋，这事九成九要吃瘪。
前者，李元度的平江勇曾被太平军攻破，全军覆没，唯独他这个高度近视的家伙逃了回来。
清廷律令，对败军之将惩罚极重，但李元度是个例外，他是个文人，追究他或是不追究他，意义都不大。因此他非但未受追究，反而继续受到重用。实际上他就是起个稻草人的作用，吓唬数量少的太平军，同时起到给大家壮胆的作用。
此番曾国藩移师祁门，祁门的门户徽州，就需要一员上将来把守。可这年月去哪儿弄什么上将去？还得近视眼李元度来。
于是李元度奉曾国藩之命，赴湖南募得乡勇三千，兴冲冲地拉到了徽州。临走之前，曾国藩千叮咛万嘱咐：“你就是个稻草人，千万别拿自己当回事。倘叛军来攻，打死也不要给他们开门，记住了没有？”
李元度确实记住了，可问题是，以他一个书生的身份，要压制杀人不眨眼的大头兵，这难度确实不低。结果，当太平军的侍王李世贤率大军气势汹汹赶到，李元度顶不住部属急于立功的压力，打开了城门。
说起这李世贤，他虽然不是什么名将，但比李元度可强多了。结果双方一出真招，李元度这边就顶不住了。当时李元度就吓坏了，丢了部队不顾性命地狂逃，也亏他那双近视眼，居然成功逃生了。
虽说李元度已经习惯了战场上的失败，但这次有点不同。这次他竟然弃军而走，恐怕曾国藩也不会跟他有完。李元度心里害怕了，不敢回来，就在浙江和江西的边境上，摸索着溜达了一个多月，后来溜回来，偷偷地找到粮台，把自己的薪资全部领出来——可见曾国藩这边的财务管理不规范，老板没签字，财务人员就可以给员工发薪——然后李元度就逃走了。
李元度失阵私逃，临逃之前还偷领薪资，这可把曾国藩气坏了。尽管李元度追随他最久，历尽了患难，但曾国藩还是决定惩治李元度，就命人起草奏折——现在他的奏折到咸丰帝面前就能批准通过，虽然能通过，但也必须要有个折子递上去，表示政令仍然是出自朝廷。
见曾国藩要弹劾李元度，李鸿章终于逮到闹事的机会了。他知道，幕僚们都对李元度充满了同情，这可怜虫高度近视，走路都要扶墙，还替大家上战场出生入死，侥幸活命回来，还要弹劾人家，这未免太不人道了。在这种同情心驱使下，全体幕僚和李鸿章站在了一起，一道去找曾国藩吵架。
曾国藩本是一根筋，遂勇猛地舌战幕僚，坚持要弹劾李元度。李鸿章眼见无法让曾国藩服软，就威胁说：“如果老师一定要参，抱歉，我们将拒绝起草奏折。”
曾国藩冷笑：“我怕了你们才怪，难道我不会自己写奏折？”
李鸿章气坏了：“老头，如果你一意孤行，那我只好辞职以示抗议。”
曾国藩：“行，你要辞职，马上去粮台领薪水，没人拦着你。”
李鸿章真的领了薪水走了，这个大滑头，他预料到祁门之地迟早会遭到太平军的攻击，留在这里极度危险，正好借这个机会，一走了之。
李元度私逃、李鸿章辞幕，这两件事对曾国藩的心灵造成了强烈的伤害。他在自己的日记里写道：“日内因徽州之败深恶次青，而又见同人多不明大义，不达事理，抑郁不平，遂不能作一事。”
要说李鸿章这人就是精明，他前脚刚刚走，后脚太平军就来了。
来的是忠王李秀成，统率西征南路军，锋芒直指祁门。