曹操率主力深入汉中，孙权也没有浪费这次好机会，他迅速在东线出击，试图一举夺取合肥。合肥是曹操东线战场的支撑点，拿下合肥就等于占领了整个扬州。
建安二十年（215）8月，就在曹操攻破南郑的同时，孙权调集10万人马，由自己率领进攻合肥。此战孙权志在必得，所以几乎带来了吴军的全部精锐，吕蒙、甘宁、蒋钦、凌统、陈武、徐盛、贺齐、潘璋等。最能打的都来了。
曹操西征汉中前留下张辽、李典、乐进守合肥，但给他们留下的人马并不多，只有7000人，合肥看来凶多吉少。担任驻合肥各军护军的薛悌谨遵曹操的指示，一直没有打开曹操临走前留下的那个密函，现在孙权率10万人马杀来，时机到了。
薛悌请来张辽、乐进、李典诸将，当众人面打开了那封密函。
大家都以为丞相留下了什么秘密武器，期望值挺高，谁知打开密函以后，只看到上面写了几句话：“如果孙权来了，让张辽和李典二位将军出战，乐进将军留守，薛参谋长不得参战。”
就是这些啊？大家有些失望。
而且似乎也有问题，现在明显寡不敌众，只能死守以待援军，主动出击会正中敌人的下怀，在实力如此悬殊的情况下能否取胜实在没有多大希望。但张辽认为曹丞相的指示是正确的，他说：“曹公远征在外，如果我们坐等待援，敌人必然会击破我们。所以曹公命令我们趁敌人没有集齐之时发起攻击，挫伤他们的锐气，以安定军心，然后才能守住。”
对张辽的看法大家还有些犹豫，包括乐进、李典在内，众人一时都还下不了决心，张辽生气道：“成败之机，在此一战。诸君如果还要怀疑，我张辽愿意单独一战！”李典深受触动，他跟张辽平时有矛盾，此时也慨然道：“这是国家大事，我不能以私心而忘记公义，请让我跟随你前进！”
张辽连夜招募敢死队，共选了800人，给他们杀牛飨食，饱餐一顿，到了天亮，张辽亲自披甲持戟，率领这800勇士杀入敌营。对曹军这一手吴军没有任何思想准备，10万对7000，胜负几乎没有悬念，脑子只要还正常，就会选择死守待援，能多撑一天就多一分生的希望，主动发起挑战无异于自杀。
哪知曹军不仅杀了出来，而且士气还很高昂，张辽一边杀，一边大呼自己的名字，他们连杀数十名敌兵，其中还包括两员将领，他们冲锋的速度极快，转眼就杀到孙权的指挥部。孙权几乎来不及反应，跟前有一个土堆，可能是一处坟堆，孙权顾不了那么多，抱着一把长戟就上了土堆。
张辽站在土堆下，高喊让孙权下来一战，孙权不敢动，这时孙吴的众将杀了过来，将张辽围住。张辽率身边数十人又往外面杀，刚杀出重围，听见后面有人求救：“将军，您要抛弃我们吗？”张辽回头一看，见是自己带来的人有被孙吴的士兵围住不能脱身的，张辽于是又往回杀，敌兵人马披靡，没人敢挡，张辽顺利将被围的士兵解救出来。
这一战从早晨一直打到中午，张辽就用这800人在孙权大营里连冲带杀，孙吴军队居然无奈，看着他们杀进杀出，孙吴士气大损。孙吴军队又攻了十多天，被士气高昂的曹军挡在城下无法得手，孙权决定撤兵。
吴军接到命令陆续撤退，孙权和吕蒙、甘宁、凌统、蒋钦、陈武、潘璋等将领留在后面督阵。合肥城外有条淝水，淝水上有一个渡口叫逍遥津，孙权等人正在逍遥津以北等待过河，被远眺敌情的张辽恰好发现。
张辽再次率兵突然杀出，目标直指孙权。这一击实在太突然了，孙权等人毫无防备，吕蒙和甘宁拼死保护孙权，凌统指挥身边的人架着孙权就走，凌统把孙权转移到安全地带，返过来再与曹军交战，身边的人一个个战死，他也多处受伤，估计孙权已经脱险，这才撤离战场。
吕蒙、甘宁、蒋钦等人死战张辽以掩护孙权，甘宁勇猛异常，不停地引弓射敌，负责鼓吹的士兵大概也伤亡得差不多了，甘宁发现自己一方的军乐队突然没了声响，还厉声询问，壮气毅然。凌统这时也过来，掩护孙权撤退后重新杀回，他跟甘宁配合默契，抵挡住了曹军的猛攻。
对江东来说此战打得很惨烈，偏将军陈武力战而死，宋谦、徐盛、甘宁等人负伤。徐盛受伤后长矛都弄丢了，贺齐过来救了徐盛一命，捡回徐盛的长矛。陈武自孙策时代便追随左右，孙权让他督五校，负责保卫孙权的安全，他力战而死，算是尽到了职守。对陈武的死孙权很伤心，后来亲自参加了陈武的安葬仪式。陈武有个爱妾，孙权下令让她给陈武殉葬，陈武的儿子陈修日后也成长为孙吴的高级将领。
陈武战死，徐盛等人受伤，他们手下不少士卒纷纷后退，潘璋赶到，斩杀了两名后退者，才稳住了阵脚。
张辽遇到一个紫色胡须的吴将，上身长、下身短，在马上很善射，张辽问孙吴的降卒这个人是谁，降卒回答是孙权，张辽懊悔不已，赶紧跟乐进急追。
孙权骑马到了逍遥津渡口上的一座桥，这座桥年久失修，桥面已坏，有一丈多宽的地方没有桥板，此时只有他的亲近监谷利在身边，谷利让孙权握住马鞍稳住身体，他在后面挥鞭以助马势，马使劲腾越，最后跳过了断桥。谷利立下大功，后来被封为都亭侯。
孙权侥幸逃过淝水，遇上贺齐率3000人前来接应，孙权才得以脱险。贺齐把孙权迎入大船，摆上酒宴为孙权压惊，席间贺齐落下眼泪，他对孙权说：“人主的安危是大事，今天我们几乎酿成大祸。群臣震怖，像没有天没有地了一样，我将把今天这件事作为终身之诫！”孙权也走下座席，过去替贺齐擦干眼泪。
甘宁等人随后突围而回，其中凌统受伤最重，到淝水边时，桥已被曹军破坏，凌统穿着甲胄潜水渡河，到了孙权的大船上，孙权见了又惊又喜，把凌统留在自己的船上。孙权亲自为凌统换了衣服，拿出珍藏的卓氏良药为凌统疗伤，凌统才得以不死。
逍遥津一役，曹军以7000余人打退孙吴10万人的进攻，两次陷孙权于危难，打得吴军损兵折将，创造了战场神话。张辽经过此战名气更大，自那时起张辽的名字便与逍遥津联系在了一起。
此战也是孙权一生中最大的一次失败，人多势众，猛将如云，却被打得难以招架，士气大伤。后人评论此战的胜利，一方面归功于张辽等人作战勇敢，面对强敌敢于主动出击，以不足十分之一的力量，打得敌人节节退败。另一方面对于曹操知人善任也给予高度评价。
曹操在留下的封函里仿佛已经预知了一年后发生的情况，对于如何用兵给出了清楚的指示，他知道张辽、乐进、李典等人互相不服气，平时都不买对方的账，所以把拒敌方案暂时秘而不宣，他相信关键时候张辽等人能以大局为重，且互相激励，一定能出奇制胜。之所以让张辽担任主攻，让乐进守城，是因为曹操了解他们的性格，张辽作战勇猛，有狠劲；乐进打起仗来比较冷静，适合守城。
除这两方面原因外，还有一个重要原因被忽视了，孙吴军队中正流行瘟疫，削弱了战斗力，并迫使人马后退。根据史书记载，当时碰上了瘟疫，军队大部分撤出了发病区。瘟疫的威力在赤壁之战中表现得很突出，吴军此次在合肥失利，也与瘟疫有关。
逍遥津旧址在今安徽省合肥市老城区的逍遥津公园内，园内还有张辽墓。张辽祖籍并州刺史部雁门郡，跟关羽是同乡，因而关系很好。张辽于七年后去世于江都，死后要么就地葬于江都，要么葬于家乡，不大可能葬在合肥，这个墓应该是后人为纪念他而修的衣冠冢吧。