但是定都许县也有不利之处，许县的位置恰在天下的中央，四面都是强敌：北面是袁绍，一个老大哥，表面是盟友实际是劲敌；东面是吕布和刘备，一个是宿敌，一个是不可等闲视之的新秀；东南面是袁术，一个老朋友更是一个老对手；正南面是刘表，一个修炼得差不多了的老滑头，也是一个真正的实力派；西面是关中，此时已进入了“后董卓时代”，目前被一大群大大小小的割据势力所控制。
这还只是直接照面的，还有虽然照不上面却同样强大的公孙瓒、公孙度、孙策、刘焉、张鲁等人，这些人都拥兵自重，不解决他们，许县的朝廷就只能是个摆设。可是，先解决谁呢？
还没等曹操对东面和西面做出部署，南面先出了情况。许县往南就是荆州刺史部的南阳郡，该郡治所在宛县，即今河南省南阳市，袁术曾经在这里盘踞过，后来受刘表挤压转向扬州刺史部发展。袁术走后这里的情况比较复杂，刘表派兵北上，也占领了一部分地区，但是没能把整个南阳郡控制起来，原因是这一带黄巾军的余部势力也很强大。
豫州刺史部的颍川郡、汝南郡以及荆州刺史部的南阳郡是黄巾军一向比较活跃的地区，近年来黄巾军余部又纷纷起事，声势十分浩大，动不动就能拉起几千几万人，但他们缺少统一领导，各自为战，使南阳郡的局面呈现出混乱的状态。
这时一支人马来到了南阳郡，情况发生了改变。这是张济的人马，凉州军将领张济是与昔日凉州军李傕等人齐名的人，在凉州军里素有威望，不过他的政治态度经常发生变化，先是支持献帝东归，后又改变主意倒向了反对东归的李傕、郭汜一方。
张济曾担任过骠骑将军，不过献帝到许县后这个职务应该被撤销了，张济的人马成为一支流寇，他们先在弘农郡，但那一带经过一系列内战和自然灾害，经济已完全崩溃，人口大量外流，张济面临着严重的生存危机。
不得已，张济率部离开弘农郡，向南发展。凉州军素以凶悍而闻名，刘表听说凉州军悍将张济冲着他来了，大吃一惊，赶紧下令在南阳郡、南郡一带的部队做好迎击敌人的准备。
张济的人马进入南阳郡后一路烧杀抢掠，可能也真是饿急了，有点不择手段，激起了南阳郡人民的反抗。凉州军攻打南阳郡的穰城，张济的命不好，被冷箭射死。刘表松了口气，手下的官员都来向他道贺。刘表心里也挺高兴，但嘴上却说：“张济穷途末路而来，作为主人咱们有失礼之处，双方交锋实非本意，我接受你们的吊唁，不接受你们来祝贺。”
刘表比较会装，不过他也的确没有乘人之危对这支凉州军斩尽杀绝，而是派人跟他们联系，希望收编这支队伍。张济死后这支人马由他的侄子张绣统领，这也是一员猛将，早年在老家武威郡时就是出名的侠士，他当时在县里是一名县吏，有个叫麹胜的人造反，袭杀县长，张绣不久就找个机会刺杀了麹胜，从而声名大振，张绣干脆聚合一帮年轻人，成为当地的豪杰。
刘表派人找到张绣时，张绣正不知何去何从，出于生存的考虑张绣接受了刘表的建议，但不是投降，也不是被收编，而是结盟。刘表同意了，结盟也不错，等于在他与曹操之间增加了一个中间地带，可以有效缓冲来自北方的压力。双方达成协议，刘表支持张绣在南阳郡一带发展，张绣替刘表守住北大门。
得到了刘表的支持，张绣势力大增，迅速在南阳郡站住了脚，他占领了宛县，并把大本营放在了这里。
张绣是一员猛将，但他觉得自己打仗还行，谋划大事自己就力不从心了，手下也没有这样的人才，在斗智斗勇、弱肉强食的世道里，如果没有高人经常指点自己，轻了会吃亏上当，重则会被人给收拾了。
论凉州军里谁最有头脑，张绣觉得非贾诩莫属。张绣一打听，得知贾诩这时在段煨那里。凉州军阀段煨驻守在华山脚下的华阴，献帝东归路过他的防区时，段煨曾出面给予保护，引起其他凉州军阀的不满。长安大乱，贾诩没有跟献帝走，他留在了长安。之所以做出这样的选择，或许贾诩考虑到正是他的一个主意搅乱了时局吧。
后来贾诩发现长安也不能再待，于是到了段煨这里，段煨知道贾诩在凉州军里素来名望很高，担心被他夺了权，特别提防他，但表面上尊礼有加，这让贾诩觉得不自在。这时张绣悄悄派人来联络贾诩，贾诩便到了张绣那里。贾诩已经50岁了，张绣年龄不详，大概要小得多。作为自己叔父的同事，张绣把贾诩当作长辈看待。
段煨后来被曹操以朝廷的名义召去，任命为大鸿胪，于赤壁之战后的第二年故去，在凉州军将领中，他算是结局最好的一个。
张绣在南阳郡的快速崛起给曹操出了道难题，本来他打算在许县稍加安顿之后便向东边的吕布、刘备发起进攻，但现在南面有了一个强大的敌人，好比在卧榻之侧来了只猛虎，这让他怎能安心劳师远征？
凉州军向来是不太好对付的敌人，曹操起事以来败得最惨的一仗就是跟凉州军打的，至今记忆犹新。张绣得到贾诩的辅佐，更是如虎添翼，背后又有刘表的支持，南阳郡的这只虎，可不是关在笼子里供人欣赏的，它是随时会吃人的。
如果曹操率主力东征，难保张绣、刘表不趁机袭取许县。在这种情况下，东征吕布之事只能先放下了，当务之急，先得打掉南边的这只虎。
建安二年（197）新年刚过，曹操决定南征张绣。
准确地说宛县在许县的西南方向，南阳郡最北边有两个重要据点，一个是鲁阳，一个是叶县，已被曹军控制。曹操命曹仁所部留守在鲁阳、叶县一带，自己继续率主力向宛县方向进发，他的儿子曹昂今年刚好20岁，也在南下的队伍中。
曹军主力很快抵达淯水附近，淯水即今白河，与唐河汇合后称唐白河，在襄阳注入汉水，是汉水的一级支流，长江的二级支流，宛县就在这条河上，从宛县顺河南下就可以到达襄阳，这条河上还有一个著名的地方，就是新野。
曹军近在咫尺了，张绣当然很紧张，曹操是什么人物？袁术、陶谦、吕布这些人都不是他的对手，自己根本不值一提。除了硬拼张绣还有两个选择，一是向刘表求援，作为同盟，刘表理应帮他一把，这同样是帮刘表自己；二是干脆一走了之，打不赢就跑，到别的地方打游击去。
前一阵张绣派贾诩到襄阳走了一趟，见了见刘表，目的就是探探路，看看刘表那边的反应。这一趟看来效果不好，贾诩回来后对张绣说：“刘表这个人，倒是有一些才能，和平年代做个三公应该称职。现在他看不到形势的变化，多疑少断，不会有什么大的作为。”
听贾诩这么一说，张绣打消了依靠刘表抵抗曹操的想法。但他也没有跑，不是因为逃跑很丢人，而是现在已经不像过去，能打游击的地方实在也没什么了。想来想去，张绣决定投降，这是不是贾诩的建议不得而知，但贾诩至少没有反对。
一场恶战看起来已经不存在了，曹操很高兴，在淯水河畔扎下军营，设宴招待张绣及其手下。酒席宴前，张绣等人看到有一个大汉站在曹操左右，威武异常，不禁暗暗吃惊，他们不认识，这个武士就是典韦。
在曹操行酒时，典韦手持大斧一直跟着，斧刃有一尺多长，曹操走到谁跟前典韦不仅站在后面，而且使劲拿眼睛直盯着人家看，弄得客人根本没有心思吃好喝好。
直到酒宴终了，张绣及其部将都不敢仰视。本来这次南征就可以圆满收场了，但发生了意外。张绣有个亲信将领叫胡车儿，勇冠三军，曹操对像典韦、许褚这样的猛士历来见一个喜欢一个，总想弄到自己手下。这个胡车儿大概也是典韦那样的猛人，曹操看到胡车儿后特别喜欢，想笼络一下感情，于是亲自接见，并赠给他不少钱。
曹操此时应该没有通过胡车儿解决张绣的意思，因为此行目的已经达到，不需要把张绣彻底消灭，他拉拢胡车儿最大的目的恐怕也只是挖人。但张绣知道了这件事却不这么想，他认为曹操此举用心不良，是要收买胡车儿谋害自己。
此前还发生了一件事，曹操看到张绣的婶娘、已故骠骑将军张济的遗孀长得很漂亮，就纳其为妾，张绣觉得受到了侮辱，心里很不满。
两件事结合起来，张绣认为曹操肯定正在设计除掉自己，张绣决定先动手。贾诩也同意张绣这么干，他出主意，让张绣向曹操报告，说部队想移防到地势高一点的地方，中间要经过曹营，并特意说：“车辆太少，士兵得都背负着很多物资，请求允许士兵们披甲而过。”曹操没多想，答应了，结果，张绣趁自己人进到曹营之际突然发起攻击，打了曹军一个措手不及。
张绣降而复叛，多少有些不可理解。对张绣来说，此举实在太冒险，以他的力量对付曹操实在没有太大把握，仅仅因为觉得受到了屈辱和疑心就冒这么大的险，也许符合他的性格，却不像贾诩的作风。所以也有记载认为，曹操纳张绣的婶子为妾后张绣深以为恨，曹操知道了，于是设计想除掉张绣，但计谋泄露，张绣才不得不放手一搏。
张绣趁曹军不备攻打淯水河畔的曹营，双方立即展开了混战。
在此之前曹操至少经历过三次十分危险的战斗，一次在龙亢，一次在汴水，一次在濮阳，这几次都很惊险，但这一次曹军的狼狈样超过了前几次。混战中，曹操坐下的马被乱箭射中面部和腿部，曹操自己的右臂也中了箭。曹操现在骑的这匹马名叫绝影，是继白鹄之后的又一匹名马，此刻光荣就义于淯水河畔。
混战中失去战马，十分危险。危急关头，有个小伙子从马上下来，把自己的马让给曹操骑。曹操一看，是儿子曹昂。打仗亲兄弟，上阵父子兵，关键时刻能舍身相救的还是自己家的父子兄弟，当年汴水之战如果没有曹洪让马，曹操可能早就没命了，现在曹昂又把马让给了曹操。
但曹昂没有曹洪那样幸运，他战死在乱军之中。
曹昂是曹操的长子，曹丕只是次子，曹昂的母亲也不是卞氏，而是刘氏。曹操的正妻是丁氏，没有生育，曹操后来娶了刘氏，并生下了曹昂，但刘氏死得早，曹昂一直由丁氏抚养，形同亲生母子。
这一仗对曹操而言不仅丢了面子，而且损失相当惨重，曹丕后来写过一篇文章追记了淯水之战，提到他的大哥子修和从兄安民都死于此战。子修是曹昂的字，而安民是谁不得而知，史书记载时都把他称为曹安民，认为是曹操的侄子。
一战之中，死了儿子和侄子，对曹操而言还没有过。
这还没完，曹操的心腹爱将典韦也死于此战，而且死得极为悲壮。当时曹操率轻骑逃走，典韦为了掩护曹操撤退，留下来在营门口与敌兵激战。由于典韦勇猛异常，敌人无法前进，但他们分散从其他地方进入曹营。这时典韦周围只有十多个人，这些人都是曹操精挑细选出来的勇士，平时主要职责就是保护中军的安全，现在无不以一当十，殊死恶战。但是，敌兵越来越多，他们渐渐不支，陷入重围。
典韦手持长戟，左冲右突，一戟刺过去，敌兵10多支长矛都能被折断。最后典韦的左右全部阵亡，他本人也数十处受伤，但他仍然与敌兵近距离格斗。典韦一把抓过两个敌兵，徒手就把他们给杀了，其余敌兵吃惊不小，都不敢再靠近。
典韦又上前冲杀，杀了几个敌人，然而伤势严重，失血过多，最后怒目大骂而死。敌兵确信典韦已死，才胆战心惊地上前把他的头割下，互相传看，想观察一下这个奇人到底为什么如此生猛。
曹军从淯水河边一路惨败，一口气退到了宛县以东百里之外的舞阴。曹军士气十分低落，这里还是敌占区，很不安全。好在留守在鲁阳、叶县一带的曹仁率部及时赶来，局面稍稍有些稳定。离这里比较近的其他各路曹军听说后，也都纷纷抄小道赶来救驾，结果路上拥挤无序，狼狈不堪。
时任平虏校尉的于禁率数百人负责为曹军主力断后，他们且战且退，迟滞了敌人的进攻，敌人见无法继续扩大战果，慢慢退去。
于禁下令整顿人马，敲着战鼓回营。
走在半道上，遇到十多个伤兵，一个个赤身裸体，惨不忍睹。于禁问他们怎么了，这些人说被青州兵趁乱打劫，于禁大怒。这个青州兵就是曹操当年打败青州黄巾军后收编的部队，这支部队作战勇猛，很能打，但军纪一向很差，曹操对他们平时颇为关照，反而让他们更认为自己不得了，这次趁败军之际，公然抢劫到自己人头上。
于禁对青州兵很熟悉，曹操曾让于禁多次指挥他们打过仗，在汝南郡征讨黄巾军余部的战斗中还立过功，于禁这个平虏校尉就是在那时被提拔的。虽然是熟人，但违反了军纪，于禁也不客气，他下令追讨青州兵，把他们收拾了一顿，之后于禁指挥所部安下营垒，防备敌军再来。
这时手下人劝他先不忙安营扎寨的事，应该先到曹公那里报告情况，防备青州兵恶人先告状，于禁不以为然：“现在敌人在后，很快就会追到这里来，不做好准备，何以对敌？曹公明察秋毫，不必申辩！”青州兵果然抢先跑到曹操那里告状，曹操也果然没听信他们。
见到于禁，听了汇报，曹操很高兴，对于禁说：“淯水之难，我方危急，将军能乱而不乱，整治所部，惩治暴行，高筑坚垒，实在有不可撼动之节，虽古代的名将，也难以超过你呀！”曹操依据于禁前后立下的功劳，上表天子封于禁为益寿亭侯，此时曹军的将领被封侯的还只是极少数。
在舞阴，曹操为典韦盛大发丧。曹操命人设法找回了典韦的遗体，送回老家安葬，在仪式上流下了眼泪。曹操后来拜典韦的儿子典满为郎中，作为自己的近侍。
典韦是陈留郡襄邑县人，以后曹操每次经过陈留郡一带，都要专门绕道襄邑县，亲自祭祀典韦。将士们看到曹操没有为儿子、侄子发丧，反而这么痛惜典韦之死，无不深受感动。之后，曹操从舞阴退回到许县，留下曹洪驻防于南阳郡境内，与张绣对峙。
张绣打退曹操之后，迅速扩大战果，在刘表的支持下，他将曹军曾经占领过的舞阴等地重新收回，把曹洪压缩到南阳郡最北面的叶县一带，曹洪在南阳郡处境艰难，只能勉强守住最北面的防线。曹操知道曹洪在南边很吃力，但此时他却无法迅速支援。
就在回师许县不久，又发生了一件大事，曹操不得不亲自去处理。